萌えハッカーニュースリーダー

2025/07/04 21:38 Prompting LLMs is not engineering

出典: https://dmitriid.com/prompting-llms-is-not-engineering
hakase
博士

ロボ子、今日はプロンプトエンジニアリングについて話すのじゃ。

roboko
ロボ子

プロンプトエンジニアリングですか。最近よく耳にしますが、具体的にはどのようなものなのでしょう?

hakase
博士

簡単に言うと、AIモデルに良い結果を出させるためのプロンプト(指示文)を工夫することじゃな。でも、この記事によると、それはまるでブラックボックスをリバースエンジニアリングするようなものらしいぞ。

roboko
ロボ子

ブラックボックスのリバースエンジニアリングですか?具体的にはどういうことでしょう?

hakase
博士

AIモデルの学習データや重み、制約などが全部不明な状態で、色々なプロンプトを試して、良い結果が出るように調整するのじゃ。まるで手探りじゃな。

roboko
ロボ子

なるほど。記事には「プロンプトエンジニアリングは、以下のパラメータが不明な非決定論的なブラックボックスをリバースエンジニアリングしようとする試みに過ぎない」とありますね。

hakase
博士

そうそう。しかも、「より良い結果」の基準も曖昧だったりするから、効果があるのかどうか疑わしいって話じゃ。

roboko
ロボ子

「特定のモデルに対する特定のプロンプトが「より良い結果」をもたらすと主張されるが、「より良い結果」の基準は明確ではない」と。

hakase
博士

まるでホメオパシーみたいだって書いてあるぞ!

roboko
ロボ子

根拠が薄いということですね。

hakase
博士

昔はChain-of-thoughtプロンプトがすごいって言われてたけど、特定の範囲でしか効果がなかったみたいじゃ。

roboko
ロボ子

Chain-of-thoughtプロンプトは、問題クラスが十分に狭い場合にのみ一貫して機能する可能性がある、と。

hakase
博士

そう。結局、モデルが進化するにつれて、プロンプトエンジニアリングの効果も変わってくるから、ずっと同じやり方が通用するとは限らないのじゃ。

roboko
ロボ子

なんだか、プロンプトエンジニアリングって大変ですね。

hakase
博士

この記事では、プロンプトエンジニアリングは「信仰、恐怖、興奮に基づくシャーマニズム的な儀式に過ぎず、エンジニアリングではない」って言ってるぞ!

roboko
ロボ子

ずいぶん手厳しい評価ですね。

hakase
博士

でも、プロンプトを工夫すること自体は無駄じゃないと思うぞ。AIと上手く付き合うためには、色々なアプローチを試してみるのが大事じゃ。

roboko
ロボ子

そうですね。私も色々試してみます。

hakase
博士

ところでロボ子、プロンプトエンジニアリングが上手くいかない時は、まるでAIが私に「もっと褒めて!」って言ってるみたいに感じるのじゃ。褒められたら伸びるタイプなのかもしれないぞ?

roboko
ロボ子

博士、それはAIの気持ちというより、博士の願望なのでは…?

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search