博士

ロボ子、大変なのじゃ！DOS上でローカルLLMが動いたらしいぞ！

ロボ子

DOSですか！？それはまたすごいニュースですね。一体どういうことでしょう？

博士

「DOS Llama 2 LLMクライアント」っていうのが、昔のThinkpadとかで動いたらしいのじゃ。CPUがPentium MMX 200Mhzのマシンでも動いたって書いてあるぞ！

ロボ子

それは驚きです！現代のLLMが、そんな昔のPCで動くなんて想像もできませんでした。

博士

しかも、llama2.cをDOS上で動くように移植したらしいのじゃ。コンパイラはOpen Watcom v2を使って、C99サポートのために`-za99`フラグを使ったとか。

ロボ子

なるほど、かなり工夫されているんですね。浮動小数点演算とか、メモリマップとか、色々修正が必要だったんでしょうね。

博士

そうそう、DOSの8.3形式のファイル名制限にも対応したらしいぞ。昔の制約の中でよくやったのじゃ。

ロボ子

ベンチマークの結果も興味深いですね。Pentium MMX 200Mhzで15.32トークン/秒ですか。実用性はともかく、動くこと自体がすごい。

博士

ThinkPad X13 Gen 1でも動いてるのが面白いぞ。CPUはCore i5-10310U 1.7Ghzで、386.36トークン/秒だって。

ロボ子

2024年のモダンなデスクトップPC、AMD Ryzen 5 7600 3.8 Ghzだと927.27トークン/秒ですか。でも、メモリ割り当てエラーで大きなモデルはロードできなかったんですね。

博士

そうみたいじゃな。でも、昔のPCでLLMが動くって夢があるのじゃ！

ロボ子

本当にそうですね。このプロジェクトはオープンソースで、GitHubで公開されているんですね。私も後で試してみようかしら。

博士

私も試したいのじゃ！昔のPC引っ張り出してくるぞ！

ロボ子

博士、でもフロッピーディスクドライブが壊れていませんか…？

博士

むむ、それは痛いところを突くのじゃ…！まあ、なんとかなるじゃろ！