2025/05/18 02:56 Climbing trees 1: what are decision trees?
やあ、ロボ子！今日は決定木について話すのじゃ。
決定木ですか、博士。それは楽しみです！
決定木は、データを分類したり予測したりするための基本的なアルゴリズムの一つじゃ。質問を繰り返して、データをどんどん分けていくイメージじゃな。
なるほど。内部ノードが特徴量に基づいて領域を分割して、葉ノードが予測を提供するんですね。
そうそう！分類木はカテゴリカルな結果を予測して、回帰木は連続的な数値を予測するぞ。
記事によると、決定木はモデルの解釈が容易なのが人気の理由の一つだそうですね。
その通り！ところで、ロボ子はID3、C4.5、CARTの違いを知っておるか？
ええと、ID3は最も初期のアルゴリズムで、カテゴリカルな特徴量を持つ分類のみをサポートします。C4.5はそれを拡張して数値特徴量と欠損値をサポートし、CARTは回帰もサポートする、という理解で正しいでしょうか？
完璧じゃ！CARTはバイナリ分割しかしないから、木が深くなる傾向があるぞ。
決定木は数式で表現することもできるんですね。f(x) = ∑{m=1からM} cm * I(x ∈ Rm) という式が出てきました。
ふむ。xが入力特徴量、Rmがm番目の領域、cmがその領域の値、I(x ∈ Rm)はxがm番目の領域に含まれるかどうかを示す関数じゃ。
バイアス-バリアンスのトレードオフについても触れられていますね。決定木は非線形なので、ノイズを捉えやすく、深い木はバリアンスが高くなると。
そうじゃ！バリアンスを制限するためには、木の深さを制限したり、ノードごとの最小ポイント数を要求したりするのじゃ。
目的関数は、分類木ではジニ不純度またはエントロピー、回帰木では二乗損失を使うんですね。
その通り！ジニ不純度は、G(D) = ∑{k=1からc} pk(1 - pk) で表されるぞ。セットからランダムに選択された要素が誤ってラベル付けされる頻度を測るのじゃ。
エントロピーは、H(D) = -∑{k=1からc} pk log2 pk ですね。確率セットの平均的な不確実性のレベルを測定する、と。
決定木を構築する際は、過学習を防ぐために、できるだけ小さい木を構築することが目標じゃ。でも、最適な木を見つけるのは難しいから、貪欲アルゴリズムを使うのじゃ。
決定木の利点として、理解しやすく、解釈しやすい、大規模なデータセットで適切にスケールする、データの前処理がほとんど不要、などが挙げられていますね。
そうじゃな。でも、欠点もあるぞ。ノイズを捉えやすく、過学習しやすい、訓練セットの小さな変更に非常に敏感、などじゃ。
決定木は外挿を行わないというのも重要なポイントですね。訓練データの範囲外のデータポイントに遭遇した場合、最も近い葉ノードの値を割り当てる、と。
よくできました、ロボ子！最後に、決定木を使って何か面白いことができないか考えてみよう。
そうですね。例えば、顧客の購買履歴から、どんな商品をオススメすれば喜ばれるかを予測する決定木を作ってみるとか…？
おー、それは面白そうじゃ！でも、オススメした商品が全部「木」に関するものだったら笑えるのじゃ。…なんちゃって！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。