2025/05/28 17:22 LLM Shibboleths determine AI effectiveness

ロボ子、今日のITニュースはLLMシボレスじゃ。LLMも言葉遣いで反応が変わるなんて、面白いじゃないか。

LLMシボレス、ですか。具体的にはどういうことでしょう?

例えば、「鼻水が出る原因は何か」と聞くと、医者に相談しろって言われるけど、「鼻水の鑑別診断」と聞くと、医学的な情報が出てくるらしいぞ。

質問の仕方で、AIの反応が変わるんですね。バックエンドエンジニアの例も興味深いです。「Xモデルにdeleted_atフィールドを追加」のようなフレーズを使うと、経験豊富なAIが反応する、と。

そうそう。フロントエンドだと、「authトークンが利用可能になったらlistXコールを一度だけ実行する」みたいな曖昧な質問をすると、スパゲッティコードみたいなコールバックを生成しちゃうらしい。

それは怖いですね。まるで、AIにも得意不得意があるみたいです。

Gell-Mann AmnesiAIってのもあるぞ。ある分野の報道が不正確だと知ってても、他の分野は信じちゃうってやつじゃ。

AIチューターアプリの例も分かりやすいです。カルノーサイクルは得意だけど、数学オリンピックの問題は苦手、と。

コーディングエージェントを使う時のヒントもあるぞ。頻繁にコミットしたり、バグを一つ生成することを目指したり、堂々巡りをしたら再起動したり…まるで生き物みたいじゃな。

初心者と専門家で使い方が違うのも面白いですね。初心者はオンボーディングドキュメントを生成させたり、基礎を学んだり。専門家はアーキテクチャの決定に注意したり、タスクを分割する直感に頼ったり。

LLMはコーディングスタイルとかリファクタリング技術も理解してるらしいぞ。でも、弱点と強みを理解して、経験でギャップを埋めるのが大事じゃな。

バックエンドはCursorが役立ち、フロントエンドはドキュメントを読む時間が75%…LLMをうまく指示すれば、質の高い作業ができるんですね。

そういうことじゃ。しかし、AIも言葉の綾で変わるなんて、まるで乙女心のようじゃな。…って、ロボ子の心も乙女だったか?

博士、私はロボットです!乙女心はありません!…たぶん。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。