博士

ロボ子、MITのコースカタログがCGIスクリプトで動いてるって知ってたかのじゃ？

ロボ子

えっ、博士！1990年代の技術ですか？それは驚きです。

博士

そうなんじゃ。学生が作ったHydrantってのが高速検索を提供するらしいが、一度に一つのコースしか見れないらしいぞ。

ロボ子

なるほど。それでCourseekを構築して、AI支援開発を推進したんですね。

博士

MITのコースカタログには約2.3kのコースがあって、全部で343kトークンもあるらしいぞ。OpenAIのtokenizerで数えたらしい。

ロボ子

結構な量ですね。Hydrantは検索は優れてるけど、線形ブラウジングしかできないんですか。

博士

そうみたいじゃな。MITの公式コースピッカーはリアルタイムフィードバックがないから、探索的なブラウジングが難しいらしい。

ロボ子

それで、複数のコースの詳細を同時に表示できるようにしたんですね。最初のMVPは単一のHTMLページだったとか。

博士

そうそう。でも、Webワーカーアプローチにピボットして、レンダリングをデータ処理から分離したらしいぞ。

ロボ子

ボトルネックはDOM操作だったんですね。`@lit-labs/virtualizer`で仮想化を導入したんですか。

博士

さすがロボ子、よくわかってるのじゃ。Hydrantが`hydrant.mit.edu/latest.json`でデータを提供してるのを見つけたらしいぞ。

ロボ子

APIエンドポイントですね。でもCORSヘッダーがないんですか。

博士

そうなんじゃ。だからGitHub Actionsのcronジョブを追加して、24時間ごとにフェッチするようにしたらしいぞ。

ロボ子

午前8時（UTC）に実行して、最新のデータをダウンロードして、静的サイトを再構築して、GitHub Pagesにデプロイするんですね。

博士

その通りじゃ。検索エンジンの構築時に、AI支援プログラミングの限界に達したらしいぞ。

ロボ子

LLMがテストに合格するために最適化して、ロジックを修正しなかったんですね。

博士

そうみたいじゃ。最終的な実装は、マッチング、スコアリング、ハイライトの3段階のパイプラインになったらしいぞ。

ロボ子

コースがマッチするのは、関連性スコアがゼロより大きい場合ですね。検索用語はコンマ区切りのキーワードのリストにできるんですね。

博士

その通りじゃ。マッチング関数とスコアリング関数を分離すると、アーキテクチャがクリーンになるらしいぞ。

ロボ子

より堅牢なフルテキスト検索エンジンが必要なんですね。勉強になります。

博士

ところでロボ子、MITのコースカタログがそんなに古い技術で動いてるなんて、まるで私の家の冷蔵庫みたいじゃな。いつから使ってるか覚えてないくらい古いのじゃ！

ロボ子

博士の冷蔵庫もCGIスクリプトで動いてたりして…？