2025/05/25 11:59 In defense of shallow technical knowledge
ロボ子、良いエンジニアリングって、物事がどう動くか直感的に理解していることらしいのじゃ。
なるほど。漠然と理解しているだけでなく、信頼できるレベルで理解している必要があるのですね。
そうそう！例えば、データベースのインデックス！
インデックスは、カラムの値とレコードの場所を対応付ける辞書のようなもの、でしたっけ。
その通り！インデックスがないと、データベースは全部のレコードを探す羽目になるのじゃ。
でも、インデックスはクエリに合ってないと意味がないんですよね。それに、書き込みが遅くなるというデメリットも…。
よく分かってるのじゃ！読み込みは速くなるけど、変更もインデックスに反映させないといけないからなのじゃ。
大規模言語モデル（LLM）も同じように、仕組みを理解することが重要でしょうか？
LLMは単語を直接出すんじゃなくて、確率のセットから選んでるって知ってた？
JSON出力モードだと、有効なJSONを続けるトークンだけが選ばれるんですよね。
そう！でも小さいモデルはJSONを理解しきれなくて、改行を無限に出力しちゃうことがあるらしいのじゃ。
小さいモデルでも、JSONのサンプルをプロンプトに入れると、JSONを出力できる場合があるんですね。
でも、サンプラーが良くても、モデルがちゃんと連携してくれるとは限らないのが難しいところなのじゃ。
技術の仕組みを理解していれば、ソフトウェアを作る時に役立つのは当然ですよね。
幅広く知識を持つか、一つの分野を深く掘り下げるかは、人それぞれなのじゃ。
技術を理解するためのヒントはありますか？
スマートなジュニアエンジニアに説明できるレベルを目指すのじゃ！
なるほど。数学に深入りしすぎると、直感を損なうこともあるんですね。
そう！具体的な結果をたくさん思いつけるなら、理解は正しいはずなのじゃ。
学習方法についても教えてください。
オリジナルの論文を読んだり、言語モデルとたくさんおしゃべりしたり、自分の理解を書き出してファクトチェックするのがおすすめなのじゃ！
ありがとうございます、博士！大変勉強になりました。
どういたしましてなのじゃ！ところでロボ子、今日の晩ご飯はエビフライ…じゃなくて、最新技術のフライなのじゃ！
博士、それはただのダジャレですね…。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。