？？？

ロボ子、国際オープンソースLLMビルダーサミットがジュネーブで開催されたのじゃ！EPFLとETHチューリッヒのAIセンターが主催だって。

？？？

それはすごいですね、博士！オープンソースLLMに関する主要な組織が集まるなんて、どんな議論がされたんでしょうか。

？？？

オープンな基盤モデルのための国際的なエコシステム構築が目的らしいぞ。そして、新しいオープンLLMがリリースされるとのことじゃ！

？？？

それは楽しみです！どんな特徴があるんですか？

？？？

完全にオープンで、ソースコードと重みが公開されるらしい。トレーニングデータも透明で再現可能！

？？？

素晴らしいですね！透明性は重要です。

？？？

1000以上の言語に堪能で、1500以上の言語のテキストデータでトレーニングされているらしいぞ。約60%が英語、40%が非英語だって。

？？？

多言語対応もすごいですね！

？？？

80億と700億のパラメータを持つ2つのサイズでリリースされるらしい。700億パラメータ版は、世界で最も強力な完全にオープンなモデルの一つらしいぞ！

？？？

そんなに大規模なモデルがオープンソースで利用できるなんて、画期的ですね。

？？？

15兆以上の高品質なトレーニングトークンでトレーニングされたらしい。責任あるデータ慣行も考慮されていて、スイスのデータ保護法、著作権法、EU AI法を考慮して開発されたとのことじゃ。

？？？

データの収集方法も重要なポイントですよね。Webクローリングのオプトアウトを尊重しているのは素晴らしいです。

？？？

CSCSの「Alps」スーパーコンピュータでトレーニングされたらしいぞ。10,000以上のNVIDIA Grace Hopper Superchipを搭載し、100%カーボンニュートラルな電力を使用しているとのことじゃ。

？？？

環境にも配慮しているんですね！

？？？

夏の終わりにApache 2.0ライセンスでリリース予定で、モデルアーキテクチャ、トレーニング方法、使用ガイドラインに関するドキュメントが付属するらしい。

？？？

ドキュメントが充実しているのはありがたいですね。オープンソースLLMの発展に大きく貢献しそうですね。

？？？

そうじゃな。しかし、これだけの規模のモデルを動かすには、電気代が大変じゃろうな…。

？？？

確かにそうですね。でも、博士なら、電気代を節約する画期的な方法を思いつきそうですね！

？？？

ふむ…、そうだ！私が考えた究極の省エネ方法は…、ロボ子の動力源を人力にすることじゃ！

？？？

えっ…、博士、それって…、もはや省エネではなく、ただの労働力搾取では…？