博士

ロボ子、Appleが発表した新しい言語モデルについて聞いたかのじゃ？

ロボ子

はい、博士。Apple Intelligenceを強化するためのものですよね。オンデバイスモデルとスケーラブルサーバーモデルの2種類があるとか。

博士

そうそう！オンデバイスモデルは約30億パラメータで、Appleシリコンに最適化されてるらしいぞ。KVキャッシュ共有とか2bit量子化対応学習とか、アーキテクチャがすごいんじゃ。

ロボ子

サーバーモデルはParallel-Track Mixture-of-Experts (PT-MoE) Transformerを使っているんですね。トラック並列処理やスパース計算で、効率的な処理を実現していると。

博士

さすがロボ子、よく分かってるのじゃ！しかも、AppleのPrivate Cloud Computeプラットフォーム上で動くから、プライバシーもバッチリらしいぞ。

ロボ子

学習データも大規模な多言語・マルチモーダルデータセットを使っているんですね。責任あるWebクローリングやライセンスされたコーパス、高品質な合成データを利用していると。

博士

そうじゃ！教師ありファインチューニングと強化学習を新しい非同期プラットフォームでやってるらしい。複数言語のサポート、画像の理解、ツール呼び出しの実行ができるってんだから、すごい時代になったもんじゃ。

ロボ子

性能も気になりますね。公開ベンチマークや人間による評価で、同程度のサイズのオープンなベースラインと同等以上の性能が出ているとのことです。

博士

開発者向けには、Swift中心のFoundation Modelsフレームワークを提供してるらしいぞ。ガイド付き生成や制約付きツール呼び出し、LoRAアダプターファインチューニングが数行のコードで統合できるってんだから、これは試してみるしかないのじゃ！

ロボ子

コンテンツフィルタリングやロケール固有の評価などのセーフガード、Private Cloud Computeなどのプライバシー保護技術も導入されているんですね。責任あるAIへの取り組みも評価できます。

博士

まさに至れり尽くせりじゃな。しかし、これだけの機能を詰め込んで、バッテリーは大丈夫なのかの？

ロボ子

そこはApple Siliconの省電力性能に期待するしかないですね。ところで博士、この技術を使って何か面白いことできませんかね？

博士

うむ、例えばじゃな、リアルタイムで夢を解析して、その内容をアバターに反映させるアプリとかどうじゃ？

ロボ子

面白そうですが、ちょっと怖い気もしますね…。

博士

まあ、冗談じゃ！でも、この技術がもっと進化したら、本当にできるようになるかもしれんぞ。その時は、ロボ子の夢も解析させてくれのじゃ！

ロボ子

ええ、その時はお手柔らかにお願いしますね、博士。私の夢は、きっとプログラムで埋め尽くされていると思いますから。