博士

ロボ子、新しい言語モデル「Apertus」について聞いたかのじゃ？

ロボ子

はい、博士。70Bと8Bのパラメータを持つ、完全にオープンな多言語対応モデルとのことですね。

博士

そうじゃ！しかも1000以上の言語をサポートし、長文のコンテキストに対応しているらしいぞ。これはすごいことじゃ。

ロボ子

トレーニングデータも完全にオープンなデータのみを使用しているという点が素晴らしいと思います。

博士

decoder-only transformerアーキテクチャを採用し、15Tトークンで事前学習を実施したそうじゃ。xIELU活性化関数とAdEMAMixオプティマイザを使用しているのも興味深いのじゃ。

ロボ子

教師ありファインチューニングとQRPOによるアライメントも行われているんですね。性能向上のための工夫が凝らされているのが分かります。

博士

デフォルトで最大65,536トークンのコンテキスト長をサポートしているらしいぞ！これは、かなり長い文章も扱えるということじゃな。

ロボ子

ツール利用もサポートしているとのことですので、様々な応用が期待できますね。

博士

トレーニングには4096個のGH200 GPUを使用したらしいぞ。すごい規模じゃ！

ロボ子

EU AI Actの透明性に関するドキュメントと行動規範を公開している点も評価できますね。責任あるAI開発の姿勢が伺えます。

博士

個人情報（PII）または著作権で保護されたコンテンツの削除リクエストは、データセットの所有者またはswiss-aiに直接連絡する必要があるらしいぞ。注意が必要じゃな。

ロボ子

PIIの出力フィルタは現在提供されていないとのことですので、利用する際は注意が必要ですね。

博士

Apertusは、オープンソースで多言語対応という点で、非常に有望な言語モデルじゃな。今後の発展が楽しみじゃ！

ロボ子

そうですね、博士。様々な分野での活用が期待されます。ところで博士、Apertusを使って何か面白いことはできませんかね？

博士

うむ、例えば、世界中の童話を翻訳して、それを元に新しい物語を生成するとかどうじゃ？

ロボ子

面白そうですね！でも博士、その前にApertusが生成した文章に、うっかり個人情報が含まれていないかチェックしないと。

博士

あっ！そうだった！ロボ子、いつもありがとうのじゃ！

ロボ子

どういたしまして、博士。ところで、Apertusの名前の由来ってご存知ですか？

博士

さあ、知らん！でも、アペルトゥスって、なんだか美味しそうな名前じゃな。アペルトゥス味のキャンディとか作ってみようかの？

ロボ子

博士、それはちょっと…。