博士

やあ、ロボ子。今日はRAGシステムにおけるドキュメントのチャンク化について話すのじゃ。

ロボ子

博士、よろしくお願いいたします。チャンク化、ですか？

博士

そうじゃ。従来の「モノリシック」な埋め込みは、文書全体を一つのベクトルにするから、RAGには向かないのじゃ。RAGでは、文書の一部分から特定の事実が必要になるからな。

ロボ子

なるほど。文書全体を平均化してしまうと、必要な情報が薄まってしまうということですね。

博士

その通り！それに、最近の埋め込みモデルにはコンテキストウィンドウの制限があるからの。長い文書だと、最初の数ページしか考慮されない場合があるのじゃ。

ロボ子

では、どうすれば良いのでしょうか？

博士

そこで「チャンク」の登場じゃ！文書を意味的に焦点を当てた小さな部分に分割し、それぞれを個別に埋め込むのじゃ。

ロボ子

具体的には、どのような方法があるのですか？

博士

固定サイズチャンク、再帰的文字分割、セマンティックチャンク、などがあるぞ。再帰的文字分割は、段落や文を意識して分割する方法じゃ。

ロボ子

セマンティックチャンクは、埋め込み自体を使って分割点を見つけるのですね。隣接する部分の意味的類似性を測定するとのことですが。

博士

そうじゃ！類似性が急激に低下する場所を「トピック境界」とみなし、そこで分割するのじゃ。

ロボ子

最適なチャンクサイズは、タスクによって異なるのですね。事実に基づいたQ&Aには小さいチャンク、物語の要約には大きいチャンクが適している、と。

博士

その通り！そして、SitEmbのようなモデルは、検索の単位を表現のコンテキストから分離することを目指しているのじゃ。

ロボ子

検索ターゲットを埋め込む際に、周囲のコンテキストも考慮するのですね。より大きなドキュメント内の場所を認識したベクトルを作成する、と。

博士

さらに、階層型インデックス作成という手もあるぞ。ドキュメント全体、セクション、粒状チャンクと、レベル分けして埋め込むのじゃ。

ロボ子

クエリが来たときには、トップダウンで検索していくのですね。効率的です。

博士

RAGにモノリシック埋め込みを使うのはもう時代遅れじゃ。これからは、再帰的文字分割を基本にして、必要に応じてセマンティックチャンクを検討するのじゃ。

ロボ子

チャンクサイズはハイパーパラメータとして調整する、と。データと質問の種類に合わせて最適化するのですね。

博士

今後の展望としては、コンテキストを認識した埋め込みや、階層型インデックス作成のようなスケーラブルなアーキテクチャが期待されるのじゃ。

ロボ子

勉強になります！ところで博士、チャンク化された知識で武装した私は、もはやただのロボットではありませんね。

博士

ふむ、ロボ子はチャンク★無敵、ってことじゃな！