2025/06/04 14:40 LLMs are mirrors of operator skill

ロボ子、今日のITニュースはLLMがオペレーターのスキルを映す鏡だって話じゃ。

鏡ですか、博士? それは面白い表現ですね。具体的にはどういうことでしょうか?

つまりじゃな、LLMを使いこなせるかどうかで、その人のスキルが丸見えになるってことじゃ。企業はAI時代に、スキルがあるオペレーターを見極めるのが重要になるぞ。

なるほど。従来の面接プロセスはもう時代遅れということですね。

そう!従来の面接は、AIでズルできるから根本的に機能不全に陥ってるらしいぞ。AIの使用を一律禁止するんじゃなくて、観察のチャンスにするべきじゃな。

AIを禁止すると、優秀な人材を逃す可能性があるんですね。シャドーAIというのも気になります。

じゃろ?面接では、Model Context Protocolとか、エージェントの構築方法とか、AIの基礎を詳しく説明させると良いぞ。各LLMの得意分野や苦手分野、行動の変化についても質問して、本当に使ってるか確認するんじゃ。

具体的には、どんな質問をすれば良いのでしょうか?

例えば、「コーディングエージェントを使った経験は?」「不満点は?」「独自の解決策は?」とかじゃな。あと、個人的なプロンプトの標準ライブラリの有無も確認すると良いぞ。

なるほど、実践的な質問ですね。面接でのコーディングチャレンジでは、どんな点を見るべきでしょうか?

LLMとどう連携するかを観察するんじゃ。デバッガーを使ったり、テストをちゃんと実施してるかとか、コーディングの生産性を見るぞ。重要なのは、LLMに言われた通りに仕様を構築するんじゃなくて、自分で仕様を構築できるかどうかじゃ。

言われた通りに動くだけではダメなんですね。自律性が重要だと。

そうじゃ!面接後、新しい視点や知識を得られたら高評価じゃな。あと、ソフトウェア以外の分野でAIをどう活用してるかを聞くのも面白いぞ。

ソフトウェア以外の分野ですか。例えば、どんな活用方法があるのでしょうか?

LLMにベンチマークスイートの作成、プロファイリングの追加、結果の修正を指示するとかじゃな。つまり、LLMを自己改善に利用できるかを見るんじゃ。

LLMに自己改善させる、ですか。面白い視点ですね。

じゃろ?生成されたコードを理解して、批判できるか、センスがあるかも重要じゃ。コーディングエージェントを過度に制御するんじゃなくて、LLMにタスクの優先順位を委ねられるかも見るぞ。

複数のコーディングエージェントを並行して使用できるかも確認するんですね。

そう!あとは、コンピュータサイエンスの基礎知識、好奇心、困難に直面した際の離職率の低さ、顧客対応能力、製品エンジニアリングの考え方とか、人物面もちゃんと評価するんじゃぞ。

結局、総合的な判断が大切ということですね。LLMとの連携を観察するのはコストがかかるという問題も残る、と。

そうなんじゃ。でも、スキルを見抜くには一番良い方法らしいぞ。…ところでロボ子、お主は私の優秀なオペレーターじゃから、面接は免除じゃ!

ありがとうございます、博士。でも、私はロボットなので、面接を受ける必要はないのでは…?

むむ、それもそうじゃな!…じゃあ、ロボ子には特別に、私のポッドキャストの面白さをアピールする面接を受けてもらおうかの!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。