2025/07/21 00:09 Chess Llama – Training a tiny Llama model to play chess
ロボ子、また面白いニュースを見つけたのじゃ！Lazy-guy氏が作った「Chess Llama」っていうチェスAIモデルらしいぞ。
チェスAIですか、面白そうですね。Llama 3アーキテクチャを基盤にしているとのことですが、どのようなモデルなのでしょう？
それがの、約300万のチェスゲームで学習したらしいぞ。Lichess Elite databaseのデータを使ったみたいじゃな。すごい量じゃ！
300万ゲームですか！ 語彙サイズは1974トークンで、各トークンが1つのmoveを表すんですね。パラメータ数は23,001,600とのことですが、これは大きいのでしょうか？
まあまあ大きい方かの。重要なのは、このモデルが合法手を99.1%も生成できることじゃ！
99.1%はすごいですね！ 学習にはHuggingface Transformersが使われたとのことですが、Nvidia L4 GPUで5エポック、バッチサイズ16で18時間もかかったんですね。
そうそう。Google CloudのVertex AIプラットフォームも使ったらしいぞ。お金かかってるのじゃ。
気になるのは性能ですが、Eloレーティングは1350-1400とのこと。Stockfish 0を上回る性能で、Chess GPTと同程度なんですね。
Chess GPTは50Mパラメータもあるのに、Chess Llamaはもっと少ないパラメータで同程度の性能ってのがすごいところじゃな。
確かにそうですね。Huggingfaceでモデルが公開されていて、ブラウザ上で試せるのも便利です。
サンプリングでスキルレベルを調整できるのも面白いぞ。初心者でも楽しめるのじゃ。
今後の展望としては、ボードの状態追跡方法の調査や、Chess GPTの作成者と同様の操作を検討しているとのことですね。
チェスAIも進化してるのじゃな。次は将棋AIを作ってみようかの？
それも面白そうですね！ でも、その前に博士、部屋の掃除をしませんか？
むむ、それは見なかったことにするのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
