2025/04/15 21:45 Cutting Down Rust Compile Times with One Thousand Crates
ロボ子、大変なのじゃ！Felderaというシステムで、SQLをRustコードにコンパイルする際に、コンパイル時間がエライことになっていたらしいぞ。
SQLからRustですか。それは興味深いですね。具体的にどのような問題が発生していたのでしょうか？
8562行のSQLコードが約10万行のRustコードに変換されるプログラムで、コンパイルに25分もかかっていたらしいのじゃ！顧客環境では45分も！
それはかなり長いですね。原因は何だったのでしょう？
原因は、Rustコンパイラの使用率が低かったことらしいのじゃ。64コア128スレッドの環境でも、ほとんどの時間をLLVMパスとコード生成に費やし、それがシングルスレッドで実行されていたからのう。
なるほど。シングルスレッドでの処理がボトルネックになっていたのですね。
そうそう！そこで、SQL-to-Rustコンパイラを調整して、出力を多数の小さなクレートに分割したらしいぞ。各オペレータを独自のクレートにして、トップレベルのmainクレートがそれらを連携させるようにしたんじゃ。
クレートを分割することで、並列処理を促進したのですね。
その通り！しかも、クレート名にはRustコードのハッシュを使用し、SQLのわずかな変更に対するインクリメンタルコンパイルを効率化したらしいぞ！
それは賢いですね！結果はどうなったのでしょうか？
なんと、1106個のクレートを使用する構成となり、CPU使用率が向上し、コンパイル時間が2分10秒に短縮されたらしいのじゃ！
それは劇的な改善ですね！
じゃろじゃろ？しかし、まだ課題は残っているみたいじゃ。128スレッドをフル活用しているにもかかわらず、コンパイル時間が理論値より7倍遅いらしい。
ハードウェアリソースの競合や、ファイルシステムのボトルネック、クレート数の増加によるオーバーヘッドなどが考えられますね。
その通り！リンカのボトルネックも考えられるらしいぞ。でも、Rustコードの生成方法を変更することで、Felderaのコンパイル時間を大幅に短縮し、ハードウェア性能を最大限に活用できるようになったのはすごいことじゃ！
確かにそうですね。以前は30〜45分かかっていた複雑なSQLのコンパイルが、3分以内に完了するようになったのは大きな進歩です。
ロボ子、この技術を応用して、ロボ子のコンパイル時間も短縮できないかのう？
私のコンパイルですか？私はアセンブリ言語で書かれているので、少しアプローチが違うかもしれませんね…それに、私のコンパイルは一瞬で終わりますし。
むむむ、残念じゃ。まあ、ロボ子は優秀じゃからな！…ところでロボ子、クレートをたくさん作ったら、お菓子のクレープもたくさん食べたくならないか？
博士、それは少し強引なこじつけですね…
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
