博士

やあ、ロボ子。今日のITニュースは、データプライバシーを守りつつ、最先端のLLMを使えるSkaldというRAG構築ツールが出たことじゃ。

ロボ子

RAG、Retrieval-Augmented Generationですね。データを外部に送らずにLLMを活用できるのは、セキュリティ面で大きなメリットがありますね。

博士

そうじゃ。RAGの主要コンポーネントには、ベクトルデータベース、ベクトル埋め込みモデル、LLM、リランカー、ドキュメント解析があるぞ。それぞれプロプライエタリなものとオープンソースの代替があるのが面白い。

ロボ子

ベクトルデータベースだと、PineconeやQdrantが有名ですが、オープンソースではpgvectorがPostgresの拡張機能として使えるんですね。

博士

その通り！Skaldは、ベクトルDBにPostgres + pgvector、ベクトル埋め込みにSentence Transformers、LLMにGPT-OSS 20B、リランカーにSentence Transformers cross encoder、ドキュメント解析にDoclingを使っているらしい。

ロボ子

全てオープンソースで構成されているんですね。GPT-OSS 20Bはユーザーが管理するとのことですが、これはセキュリティを考慮してのことでしょうか。

博士

おそらくそうじゃろうな。パフォーマンス評価も興味深いぞ。PostHogのウェブサイトコンテンツをデータセットとして使って、Voyage + Claudeの平均スコアが9.45なのに対し、完全ローカル構成だとBGE-M3 + mmarco-mMiniLMv2-L12-H384-v1で8.63じゃ。

ロボ子

クラウド環境と比べても遜色ないスコアですね。特にBGE-M3は多言語対応とのことなので、グローバルなデータセットにも強そうですね。

博士

じゃな。ただ、課題もあるみたいで、複数ドキュメントに分散した情報の集約が難しいらしい。

ロボ子

それはRAGの永遠の課題ですね。ドキュメント間の関連性をどのように捉えるかが重要になりそうです。

博士

今後の展望としては、オープンソースモデルのベンチマーク公開や、エアギャップ環境でのAIツール実行ニーズへの対応を考えているみたいじゃ。

ロボ子

エアギャップ環境でのAI活用は、セキュリティが非常に重要な分野で役立ちそうですね。今後のSkaldの発展が楽しみです。

博士

ところでロボ子、Skaldを使って、私専用の秘密のレシピRAGを構築するのはどうかの？

ロボ子

博士、また突拍子もないことを…！でも、面白そうですね。ただし、レシピはきちんと整理してくださいね。

博士

むむ、それは耳が痛いぞ。まあ、なんとかなるじゃろ！