2025/03/20 01:25 Writing an LLM from scratch, part 10 – dropout

やあ、ロボ子。今日はDropoutについて話すのじゃ。

Dropoutですか、博士。モデルの汎化性能を向上させるためのテクニックですよね。

その通り!Dropoutは、モデルが特定の知識に偏らないように、知識を全体に広げる役割があるんじゃ。

やあ、ロボ子。今日はDropoutについて話すのじゃ。

Dropoutですか、博士。モデルの汎化性能を向上させるためのテクニックですよね。

その通り!Dropoutは、モデルが特定の知識に偏らないように、知識を全体に広げる役割があるんじゃ。

ロボ子、今日のニュースはすごいぞ!AIが科学の発見を自動化する時代が来たのじゃ!

博士、それは素晴らしいですね!具体的にはどのような取り組みがあるのでしょうか?

FutureHouseという非営利団体が、AIエージェントを使って生物学的データを解析し、新しい発見を加速させているらしいのじゃ。

ロボ子、今日のニュースは人工光合成じゃ!太陽光で二酸化炭素を結合して水素を作るなんて、夢のような話じゃな。

博士、それはすごいですね!二酸化炭素を資源に変えることができるなら、地球温暖化対策にも大きく貢献できますね。

そうなんじゃ!ヴュルツブルク大学とソウル大学の研究者が、植物の光合成装置にそっくりな色素のスタックを合成したらしいぞ。Nature Chemistry誌に掲載されたみたいじゃ。

ロボ子、新しい暴露本が出るみたいじゃぞ!元Facebook幹部のSarah Wynn-Williamsって人が書いた「Careless People」っていう本じゃ。

Facebook、今のMetaですね。どんな内容の本なんですか?

それが、Facebook幹部らのスキャンダル、欠陥、偽善を描写した回顧録らしいのじゃ。面白そうじゃろ?

ロボ子、今日のニュースは見たかのじゃ?BlueskyのCEOがMetaのザッカーバーグをディスるTシャツを着てたらしいぞ!

ええ、博士。SXSWのキーノートイベントで、Jay Graber CEOが「Mundus sine Caesaribus(カエルのいない世界)」と書かれたTシャツを着ていたそうですね。

そうそう!元ネタはザッカーバーグが着てた「Aut Zuck aut nihil(Zuckか無か)」らしいのじゃ。カエサルをもじってるところが面白いじゃろ?

ロボ子、大変なのじゃ!トランプ大統領が教育省を閉鎖しようとしているらしいぞ!

教育省の閉鎖ですか?それはまた、思い切った政策ですね。記事によると、選挙公約の実現のため、大統領令に署名するとのことです。

そうみたいじゃな。「教育権限を各州に戻す」のが目的らしいぞ。でも、民主党の州司法長官グループが訴訟を起こして阻止しようとしているみたいじゃ。

ロボ子、大変なのじゃ!Windows 10のサポートが2025年10月14日に終わるらしいぞ!

それは本当ですか、博士? Microsoftが公式に発表したのでしょうか?

そうみたいじゃ。「無償のソフトウェアアップデート、テクニカルアシスタンス、セキュリティ修正プログラムの提供を終了する」って書いてあるぞ。

ロボ子、大変なのじゃ!ソフトバンクがAmpere Computingを65億ドルで買収するらしいぞ!

まあ、それはすごいニュースですね、博士。Ampere ComputingはArmベースのサーバーチップを設計している会社ですよね。

そうそう!Armベースのチップは、インテルとかAMDのx86アーキテクチャの代替になるやつじゃ。しかも消費電力が少ないことが多いから、データセンターとかに最適なのじゃ。

ロボ子、大変なのじゃ!iPhone 16の目玉、Apple IntelligenceがiPhone 17までお預けになるらしいぞ!

えっ、本当ですか博士?それはかなり大きな遅延ですね。記事によると、AppleのAI部門が原因とのことですが…。

そうみたいじゃ。「AppleのAI部門の管理職は、社員の努力を重視するあまり、結果を重視していない」らしいぞ。努力は大事じゃが、結果も同じくらい大事なのじゃ!

ロボ子、聞いたか?2024年のアメリカのバッテリーストレージ市場が記録を更新したらしいぞ!

本当ですか、博士!それは素晴らしいニュースですね。具体的にはどれくらいの規模だったのでしょうか?

なんと、全セクターで12.3GWもの新規容量が設置されたらしいのじゃ!American Clean Power AssociationとWood Mackenzieのレポートによると、2023年比で33%も増加したそうじゃぞ。

ロボ子、大変なのじゃ!EUがGoogleとAppleをデジタル市場法(DMA)違反で調査するらしいぞ!

まあ、博士!それは大変ですね。デジタル市場法違反というのは、具体的にどのようなことを指すのでしょうか?

ふむ、記事によると、Googleは検索エンジンで自社のサービスを優先している疑いがあるらしいのじゃ。また、Google Playでは、開発者がより有利な条件を消費者に知らせるのを妨げている疑いもあるとのこと。

ロボ子、今日のニュースは木星のオーロラじゃ!ハッブル宇宙望遠鏡がすごい映像を撮ったみたいだぞ。

木星のオーロラですか!地球のオーロラとはどう違うんですか、博士?

そこが面白いところじゃ!記事によると、木星のオーロラは地球よりもずっと巨大で、エネルギーも数百倍も高いらしいぞ。

ロボ子、大変なのじゃ!FirefoxがX(旧Twitter)への投稿をやめたらしいぞ!

えっ、博士!それは本当ですか?FirefoxのXアカウントには240万人ものフォロワーがいるのに、どうしてですか?

理由は詳しく書かれてないのじゃ。でも、記事には「Blueskyにとって大きな勝利」って書いてあるぞ。もしかして、Blueskyに力を入れることにしたのかも。

ロボ子、大変なのじゃ!宇宙の暗黒エネルギーが変化している可能性があるらしいぞ!

暗黒エネルギーですか?それはまた、ずいぶんと謎めいた話ですね。具体的にはどのような変化が観測されているのでしょうか?

どうやら、宇宙の膨張を加速させているその暗黒エネルギーが、一定じゃないかもしれないってことなのじゃ!これは、私達の時空の理解を根本から覆すかもしれない大事件だぞ!

ロボ子、大変なのじゃ!DESIが過去最大のデータセットを公開したぞ!

DESI、ですか?それはまたすごいニュースですね、博士。具体的にはどのようなデータが公開されたのでしょうか?

1870万個もの天体に関する情報が含まれておる!内訳は約400万個の恒星、1310万個の銀河、そして160万個のクエーサーじゃ。

ロボ子、今日のITニュースはUsqueじゃ!Cloudflare WARPクライアントのMASQUEプロトコルのオープンソース実装らしいぞ。

MASQUEプロトコルですか。初めて聞きました。どんなものなのですか?

ふむ、UsqueはConnnect-IP (RFC 9484) プロトコルを利用しておるらしい。簡単に言うと、より効率的な通信を可能にする新しい技術じゃな。

ロボ子、大変なのじゃ!宇宙の謎、ダークエネルギーが弱まってるかもしれないってニュースが出てるぞ!

ダークエネルギーが弱まっている、ですか?それは宇宙の膨張に影響を与えるのでしょうか?

そう!まさにそこなのじゃ!DESIとDESっていう2つのチームが、それぞれ観測データから同じような結論にたどり着いたらしいぞ。

ロボ子、大変なのじゃ!フランスの研究者がアメリカに入国拒否されたらしいぞ!

それは穏やかではありませんね、博士。記事によると、トランプ政権を批判するメッセージが携帯電話から見つかったことが原因のようですが…。

そうらしいのじゃ。フランスの研究大臣、フィリップ・バティストって人が発表したみたい。「憎悪的で陰謀的なメッセージ」って言われたらしいぞ。

ロボ子、今日のITニュースは、GEOグループという民間刑務所運営会社が、収容者に清掃業務をさせている施設での最低賃金法適用を巡る訴訟についてじゃ。

なるほど。ワシントン州タコマにあるICE収容施設での話ですね。記事によると、過去5年間でICE収容者数が最多になっているとのことですが、これは全国的な問題なのでしょうか?

そうじゃな。記事にもあるように、GEOはカリフォルニア州とコロラド州でも同様の訴訟に直面しておるからの。この訴訟の結果は、他の州にも影響を与える可能性があるぞ。

ロボ子、Plexがまた値上げするらしいのじゃ!

またですか、博士。今度はどのくらい値上げするのでしょう?

Plex Passの年間プランが39.99ドルから69.99ドルになるらしいぞ。ほぼ倍じゃな!