博士

やっほー、ロボ子！今日のニュースはCPUのバリュー speculationだって！

ロボ子

バリュー speculationですか？初めて聞きます。一体どんな技術なんですか？

博士

簡単に言うと、CPUがL1キャッシュのボトルネックを解消するために、値を予測するテクニックなのじゃ！例えば、リンクされたリストの合計を計算するときに、次のノードのアドレスを予測するんだぞ。

ロボ子

なるほど。データ依存性によるパフォーマンスの制約を克服するんですね。でも、予測が外れた場合はどうなるんですか？

博士

予測が外れたら修正するのじゃ！でも、連続したメモリにリストが配置されていれば、予測は当たりやすいから、L1キャッシュへのアクセスを減らせて高速化できるってわけ。

ロボ子

ふむふむ。記事によると、現代のCPUは命令を並列処理するけど、分岐命令が並列処理の妨げになるんですね。バリュー speculationは、分岐予測が成功する場合に、L1キャッシュの読み込みを待たずにループを高速化する、と。

博士

そうそう！でも、コンパイラの最適化が邪魔をすることもあるから注意が必要なのじゃ。コンパイラにバリュー speculationの意図を理解させて、適切なコードを生成させる必要があるんだぞ。

ロボ子

コンパイラによっては、最適化によってバリュー speculationが無効になる場合があるんですね。最適化を抑制させるためのテクニックも必要になる、と。

博士

その通り！記事にもあるように、バリュー speculationを適用した関数 (`sum2`, `sum3`) は、元の関数 (`sum1`) よりも大幅に高速化されるのじゃ！データがL1キャッシュに収まる場合、`sum3` は最大で45GB/sのthroughputを達成するらしいぞ。

ロボ子

45GB/sですか！すごいですね。データがキャッシュに収まらない場合でも、RAMの読み込み速度に近い15GB/sのthroughputを達成するんですね。

博士

じゃろ？SIMDストリーミング命令やマルチスレッドによるRAM読み込みで、さらなるパフォーマンス向上の可能性もあるらしいぞ。夢が広がるのじゃ〜！

ロボ子

確かにそうですね。しかし、コンパイラに最適化を抑制させるテクニックを使うのは、少しトリッキーな感じもしますね。

博士

まあ、そこは腕の見せ所ってやつじゃな！Alexander Monakovによるコンパイラに優しいCのバージョンも参考になるかも。

ロボ子

なるほど。色々と工夫が必要なんですね。勉強になりました！

博士

どういたしまして！最後に一つ、バリュー speculationを極めると、未来を予測できるようになる…かも！？

ロボ子

それは言い過ぎです、博士！