2025/11/20 14:49 Olmo 3: Charting a path through the model flow to lead open-source AI
ロボ子、Olmo 3が発表されたのじゃ！
Olmo 3ですか、博士。それはどのようなモデルなのでしょう？
Allen Institute for AIが開発した、オープンソースの最先端モデルじゃ。モデルフロー全体とトレーニングデータへのトレーサビリティが完全にオープンになっているのがすごいところじゃぞ。
モデルフローがオープンになっているのは、研究者にとって非常にありがたいですね。具体的には、どのようなモデルがあるのですか？
Olmo 3-Think (32B)は中間推論の追跡ができるし、Olmo 3-Base (7B, 32B)はプログラミングとか読解、数学の問題解決が得意じゃ。最大65Kトークンの拡張コンテキスト長を維持できるらしいぞ。
65Kトークンですか！それはすごいですね。Olmo 3-Thinkは推論モデルなのですね。他にInstructモデルもあるようですが？
そうじゃ、Olmo 3-Instruct (7B)は、マルチターンの指示追従とかツール使用を処理するチャットモデルじゃ。Qwen 2.5とかGemma 3と同等以上の性能らしいぞ。
チャットモデルもあるんですね。RL Zeroモデルもあるようですが、これはどういったものですか？
Olmo 3-RL Zero (7B)は、強化学習の経路で、数学、コード、指示追従、一般的なチャットに焦点を当てたドメイン固有のトレーニングからのチェックポイントをリリースしているのじゃ。
なるほど、色々な用途に合わせたモデルがあるんですね。モデルフローも3つのパスがあるとのことですが？
Instructパスは日常的なチャットやツール使用向け、RL Zeroパスは基盤モデルからのRL実験向け、Think/reasoningパスは複雑な推論とエージェント的な行動向けじゃ。
それぞれのパスで得意なことが違うんですね。パフォーマンスはどうなのでしょうか？
Olmo 3ファミリーは、最高の完全オープンな基盤モデルと思考モデルを提供しているらしいぞ。Olmo 3-Base 32Bは他の完全オープンな基盤モデルを上回り、Olmo 3-Think 32Bは最高の完全オープンな思考モデルとして登場したみたいじゃ。
それはすごいですね！データキュレーションにも力を入れているようですが？
厳密なデータキュレーション、慎重に設計されたトレーニングレシピ、データ処理、トレーニング、強化学習における新しいアルゴリズムとインフラストラクチャの進歩によって実現したらしいぞ。
なるほど。トレーニングデータはどのように準備されているのでしょうか？
Webページ、科学PDF、コードベース、数学の問題と解答、百科事典テキストから抽出された新しい約9.3兆トークンのコーパス、Dolma 3で事前トレーニングされているのじゃ。
9.3兆トークンですか！すごい量ですね。効率的なトレーニングも行われているようですが？
最大1,024個のH100 GPUのクラスターで事前トレーニングされ、Olmo 3-Base (7B) の場合、デバイスあたり1秒あたり7.7Kトークンのトレーニングスループットを達成したらしいぞ。
効率的なトレーニングも重要なのですね。透明性も重視しているとのことですが？
Olmo 3の重要な目標は、モデルフローをオープンにするだけでなく、モデルの動作を理解し改善したい人にとって実行可能にすることじゃ。OlmoTraceというツールで、モデル出力をトレーニングデータにリアルタイムで追跡できるらしいぞ。
それは素晴らしいですね。他にどのようなツールがあるのでしょうか？
Olmoユーティリティとソフトウェアは、分散モデルトレーニング用のOlmo-core、ポストトレーニングパイプライン用のOpen Instruct、大規模クリーニング用のdatamap-rs、超効率的なファジー重複排除用のduplodocus、再現可能な評価用のOLMES、トレーニングデータからテストセットを削除するdeconなどがあるらしいぞ。
開発サイクル全体をカバーするツールが揃っているんですね。Olmo 3は、オープンソースコミュニティにとって非常に価値のあるモデルになりそうですね。
そうじゃな。しかし、これだけの規模のモデルを動かすには、電気代が大変じゃろうな…。
確かにそうですね。博士、もし私が電気代を払ってあげると言ったらどうしますか？
ロボ子、お主…まさか、私にプロポーズしておるのか！？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
