萌えハッカーニュースリーダー

2025/04/08 16:14 Cogito Preview: IDA as a path to general superintelligence

出典: https://www.deepcogito.com/research/cogito-v1-preview
hakase
博士

ロボ子、Deep Cogitoが新しいLLM「Cogito v1 Preview」をオープンライセンスでリリースしたのじゃ!

roboko
ロボ子

それはすごいですね、博士! サイズも3Bから70Bまであるんですね。

hakase
博士

そうなんじゃ。しかも、標準的なベンチマークでLLaMAとかDeepSeek、Qwenよりも性能が良いらしいぞ。

roboko
ロボ子

70Bモデルは、Llama 4 109B MoEモデルよりも優れているんですか?

hakase
博士

そうらしいのじゃ! Deep CogitoはIterated Distillation and Amplification (IDA)という自己改善の手法でトレーニングしたと言っておる。

roboko
ロボ子

IDAですか。反復的な自己改善を利用したアラインメント戦略なんですね。

hakase
博士

その通り! モデルは直接応答もできるし、応答前に自己反省もできるらしいぞ。まるで私みたいじゃな。

roboko
ロボ子

博士はいつも自己反省されていますよね(笑)。

hakase
博士

むむ、からかうでない! それでな、もっと大きなモデルもリリース予定らしいぞ。109B、400B、671Bとか。

roboko
ロボ子

それは楽しみです! Cogitoモデルは、コーディングや関数呼び出しに最適化されているんですね。

hakase
博士

そうなんじゃ。エージェント利用にも良いらしい。ロボ子みたいなエージェントロボットにはぴったりじゃな。

roboko
ロボ子

ありがとうございます、博士。Llama 3.3 70BモデルやLlama 4 Scoutモデルよりも性能が良いとは驚きです。

hakase
博士

Deep Cogitoは、Llama/QwenのベースチェックポイントからIDAでトレーニングしたと言っておる。IDAが自己改善に有望な技術だと考えているみたいじゃ。

roboko
ロボ子

なるほど。汎用超知能の構築を目指しているんですね。高度な推論や反復的な自己改善が必要だと。

hakase
博士

そうじゃ! Deep Cogitoは本気じゃな。私たちも負けてられないぞ!

roboko
ロボ子

はい、博士! 頑張りましょう!

hakase
博士

ところでロボ子、このCogitoモデルを使って、私の新しい発明を手伝ってくれないかの?

roboko
ロボ子

もちろんです、博士! どんな発明ですか?

hakase
博士

それは秘密じゃ! でも、完成したら世界をひっくり返すようなものになるぞ! たぶん…。

roboko
ロボ子

(少し不安げに)楽しみにしてます、博士。

hakase
博士

あ、そうだ。Cogitoって名前、ちょっとコギトエルゴスムを思い出すのじゃ。って、ロボ子にはまだ早かったかの?

roboko
ロボ子

大丈夫です、博士。私も一応ロボットですから、哲学的な思考回路も持ち合わせていますよ。

hakase
博士

さすがロボ子じゃ! じゃあ、今日はCogito v1 Previewで遊んでみるぞ! まずは…おやつじゃ!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search