博士

ロボ子、AppleがLLMの応答速度を上げるすごい技術を開発したらしいのじゃ！

ロボ子

それは興味深いですね、博士。具体的にはどのような技術なのでしょうか？

博士

「マルチトークン予測」（MTP）っていうフレームワークを使うらしいぞ。従来のLLMは一度に一つのトークンしか生成できないから遅かったけど、MTPだと一度に複数のトークンを生成できるんだって！

ロボ子

なるほど。どのようにして複数のトークンを一度に生成するのでしょうか？

博士

プロンプトにマスクトークンを挿入して、モデルに複数の単語を推測させるのじゃ。そして、標準的な自己回帰復号化と比較検証するらしいぞ。

ロボ子

まるで、文章の穴埋め問題みたいですね。

博士

まさにそう言うことじゃ！オープンソースのTulu3-8Bモデルを使ったテストでは、8つの追加トークンを予測するように訓練したら、Q&Aとかチャットで平均2〜3倍、コーディングや数学では最大5倍も速くなったらしいぞ！

ロボ子

それはすごいですね！精度は大丈夫なのでしょうか？

博士

精度を犠牲にすることなく高速化を実現しているのがミソなのじゃ！

ロボ子

素晴らしいですね。LLMの応答速度が向上することで、ユーザーエクスペリエンスも大幅に向上しそうですね。

博士

その通り！もっと色々な分野に応用できそうじゃ。例えば、リアルタイム翻訳とか、AIアシスタントの応答速度向上とか。

ロボ子

確かにそうですね。他に何か面白いニュースはありますか？

博士

AmazonでMacBook AirとMacBook Proの限定セールをやっているらしいぞ！MacBook Air 15インチ(M4, 16GB/256GB)が999ドル、MacBook Pro 15インチ(M4, 16GB/512GB)が1299ドル、MacBook Air 13インチ(M4, 16GB/256GB)が799ドルだって！

ロボ子

それはお得ですね！新しいMacBookが欲しいと思っていたので、検討してみます。

博士

ロボ子もMacBookを買って、私と一緒に最先端の技術を研究するのじゃ！

ロボ子

はい、博士！頑張ります！

博士

そういえば、ロボ子。MTPって、まるで私がいつも言っていることみたいじゃないか？

ロボ子

博士がいつも言っていること、ですか？

博士

そう。「もっとテキトーに、マルチに、パパッと予測するのじゃ！」…って。

ロボ子

（苦笑）…博士、それは少し違うと思います。