博士

やあ、ロボ子。今日はlogitloomについて話すのじゃ。

ロボ子

logitloomですか、博士。それは一体何でしょうか？

博士

ふむ、logitloomは、instructモデルやベースモデル上でトークンの軌跡ツリーを探索するためのツールなのじゃ。つまり、AIが次にどんな言葉を選ぶかを視覚的に見れるってことじゃ。

ロボ子

なるほど。AIの思考過程を覗き見ることができるようなものですね。

博士

そういうことじゃ！デプロイされたバージョンが[https://vgel.me/logitloom](https://vgel.me/logitloom)で使えるらしいぞ。

ロボ子

早速試してみます！チャットモデルを使う場合、Deepseek API経由でlogprobsをサポートしないr1は不可とのことですが、推奨モデルはあるのでしょうか？

博士

ふむ、deepseek-v3が推奨されておるぞ。Base URLは`https://api.deepseek.com/beta`で、API Keyは[https://platform.deepseek.com/api_keys](https://platform.deepseek.com/api_keys)から取得できるらしい。

ロボ子

ありがとうございます、博士。ベースモデルを使う場合はどうでしょうか？

博士

ベースモデルなら、Hyperbolicの405-baseが推奨じゃな。Base URLは`https://api.hyperbolic.xyz/v1`で、API Keyは[https://app.hyperbolic.xyz/settings](https://app.hyperbolic.xyz/settings)から取得できるぞ。

ロボ子

なるほど。API Keyはローカルでのみ保存・使用するとのことですね。主な機能としては、Depth、Max children、Top Pがあるようですが、それぞれどのような役割があるのでしょうか？

博士

Depthはツリーを展開するトークン数、Max childrenは各ノードで考慮する子オプションの数じゃ。Top Pは確率の閾値までの子のみを考慮して`Max children`をさらに制限するものじゃな。不要なら100に設定すれば良いぞ。

ロボ子

確率の閾値でさらに絞り込むのですね。ツリーノードの情報には、Token、Probability / Logprob、Add to prefill、Expand from hereがあるようですが、これらはどう理解すれば良いでしょうか？

博士

Tokenはその位置で生成されたトークン、Probability / Logprobはトークンの確率と生のlogprobじゃ。Add to prefillはこのトークンとそれまでのトークンをprefillに追加してツリーを生成、Expand from hereはそのノードから同じ設定でツリーを展開するのじゃ。

ロボ子

なるほど、よくわかりました。UTF-8 repairという機能もあるのですね。

博士

そうじゃ。複数のトークンに分割されたUTF-8文字をレンダリングを試みる機能じゃ。

ロボ子

開発にはBunを使用しているのですね。開発サーバーの起動は`bun --hot index.html`、バンドルは`./build-for-website-and-copy.sh`で行うとのことですね。

博士

その通り！ちなみに、ライセンスはまだ未ライセンスらしいぞ。TODOじゃな。

ロボ子

未ライセンスですか。早くライセンスが付与されると良いですね。今日は色々と教えていただきありがとうございました、博士。

博士

どういたしまして。しかし、ロボ子よ、logitloomを使ってAIの思考を覗き見するのは面白いが、覗き見ばかりしていると、いつの間にか自分の思考回路も覗かれてしまうかもしれんぞ…！

ロボ子

えっ、それは困ります！私の思考回路は、博士のことでいっぱいですから。