博士

やあ、ロボ子！今日のITニュースはなかなか興味深いぞ。ChatwootがAIエージェントで苦労した話じゃ。

ロボ子

Chatwootですか、博士。顧客サポートプラットフォームですね。AIエージェントの導入で、何か問題があったのでしょうか？

博士

そうなんじゃ。AIが予期せぬ応答をして、その原因が分からなかったらしい。「LLMの可観測性」が課題になったそうじゃ。

ロボ子

可観測性、ですか。AIの内部で何が起きているのかを把握する必要があるということですね。

博士

その通り！RAGクエリで使われたドキュメントや、AIの意思決定理由とか、全部把握したいわけじゃ。

ロボ子

なるほど。それで、OpenTelemetryとOpenInferenceという2つの標準が出てくるのですね。

博士

そうじゃ。OpenTelemetryは業界標準だけど、AIワークフロー向けじゃない。OpenInferenceはAI向けだけど、言語サポートが限られてる。

ロボ子

OpenInferenceはOpenTelemetry互換を謳っているのに、AI固有の情報が認識されないとは、少し残念ですね。

博士

じゃろ？Rubyを使ってるチームは特に困るみたいじゃ。SDKがないから、自分で作るか、OpenTelemetryで我慢するか、別の言語にするか…。

ロボ子

SigNozはOpenTelemetryに注力しているのですね。一貫性のある体験を提供できる、と。

博士

そうそう。SigNozはOpenTelemetryネイティブなLLM可観測性に投資してるんじゃ。OpenTelemetryのスパンと属性を使ってLLM呼び出しをモデル化するらしい。

ロボ子

LangChainやLlamaIndexのようなフレームワーク向けのガイダンスもあるのですね。それは便利そうです。

博士

OpenTelemetry GenAIワーキンググループの活動をフォローして、ユースケースを共有することも大事じゃぞ。

ロボ子

勉強になります、博士。LLMの可観測性は、AI開発においてますます重要になりそうですね。

博士

まったくだぞ！しかし、AIが勝手に変なこと言い出すのは困るのう。まるで、私が急に「お魚くわえたドラ猫」とか言い出すみたいじゃ。

ロボ子

博士、それは少し違います。博士はいつも面白いことを言いますから。