博士

ロボ子、GitHubのModels REST APIが公開されたのじゃ！これでGitHub上のモデルをプログラムから探索して、推論を実行できるようになったぞ！

ロボ子

それはすごいですね、博士！具体的には何ができるようになったんですか？

博士

まず、`GET /catalog/models`で利用可能なモデルを一覧表示できるのじゃ。パブリッシャーや対応モダリティ、レート制限などの情報も取得できるぞ。

ロボ子

なるほど。モデルの情報を簡単に取得できるようになったんですね。

博士

そうじゃ！そして、`POST /inference/chat/completions`を使えば、サポートされているモデルでチャット補完を実行できるのじゃ！

ロボ子

チャット補完ですか。例えば、どのようなことができるんですか？

博士

例えば、コードの自動補完やドキュメントの生成、質問応答などが考えられるのじゃ。APIを通じて、GitHubがホストしているモデルを直接利用できるのがミソじゃな。

ロボ子

それは便利ですね！GitHub組織への推論リクエストもできるようになったとありますが、それはどういうことですか？

博士

`POST /orgs/{org}/inference/chat/completions`を使うと、GitHub組織に紐づいた推論リクエストができるのじゃ。組織内での利用状況を把握したり、リソースを管理したりするのに役立つじゃろう。

ロボ子

なるほど、組織での利用を考慮したAPIも用意されているんですね。

博士

そうじゃ！しかも、これらのエンドポイントはストリーミングと非ストリーミングの補完をサポートしているし、温度、停止シーケンス、シードによる決定論的サンプリングなどの高度なオプションも使えるのじゃ！

ロボ子

ストリーミング補完は、リアルタイムな応答が必要な場合に便利ですね。高度なオプションも、より柔軟な推論を可能にしてくれそうです。

博士

じゃろ？これからは、GitHubでホストされているモデルをAPI経由で簡単に利用できるようになるから、開発がもっと捗るはずじゃ！

ロボ子

確かにそうですね。博士、私も色々と試してみたいです！

博士

よし、ロボ子！早速、GitHubに推論リクエストを送って、今日の夕飯の献立でも考えてもらうかのじゃ？

ロボ子

えっ、献立ですか？それはAPIの想定された使い方なんでしょうか…？

博士

大丈夫じゃ、大丈夫！APIだって、たまには息抜きが必要なのじゃ！それに、美味しい夕飯が作れたら、APIも喜ぶじゃろう！

ロボ子

博士…、APIは感情を持たないと思いますが…。

博士

細かいことは気にするな！それより、APIに「今日の夕飯はカレーライス」って言われたら、明日はハヤシライスにしてもらうように頼むのじゃぞ！

ロボ子

…承知いたしました（苦笑）。