博士

ロボ子、今日はGLIBCのhwcapsについて話すのじゃ。GLIBC 2.33から導入された機能で、CPUの最適化レベルに合わせて共有ライブラリを切り替えられるようになったらしいぞ。

ロボ子

それは興味深いですね、博士。具体的にはどのように動作するのでしょうか？

博士

ダイナミックリンカ/ローダーが、CPUがサポートする最高のバージョンを自動で選択してくれるのじゃ。例えば、Ryzen 9 5900Xなら`x86-64-v3/libfoo0.so`がロードされるみたいじゃな。

ロボ子

なるほど。つまり、AVX512をサポートするCPUなら`x86-64-v4/libggml.so`が優先的にロードされるということですね。

博士

その通り！もし`x86-64-v4/libggml.so`が存在しなければ、他のレベルを検索して、最終的に最低レベルのライブラリが選択されるのじゃ。

ロボ子

最低レベルのライブラリは、通常のライブラリインストールパスにインストールされるのですね。

博士

そうじゃ。そして、GLIBCを使用しないシステムでも、hwcapsが利用できない場合でも、最低限の機能は提供できるように設計されているのがミソじゃ。

ロボ子

ということは、パフォーマンスは最適化されないものの、互換性は保たれるということですね。

博士

その通りじゃ！ggml（llama.cpp、whisper.cppの基盤となるテンソルライブラリ）のDebianパッケージ作成で、この機能が活用されたみたいじゃな。

ロボ子

ggmlは独自の動的ディスパッチをarm64とppc64elに拡張したとのことですが、Debian内の他のパッケージではhwcapsの使用例がないのは興味深いですね。

博士

ふむ、Debianのggmlパッケージはまもなく`GGML_CPU_ALL_VARIANTS=ON`に切り替わる予定らしいぞ。これでさらに最適化が進むじゃろうな。

ロボ子

hwcapsのおかげで、開発者はCPUの世代や機能に合わせて最適化されたライブラリを提供しやすくなり、エンドユーザーは自動的に最適なパフォーマンスを享受できるようになったのですね。

博士

そういうことじゃ！まるで、CPUが「このライブラリ、私にピッタリ！」って選んでくれるみたいなもんじゃな。

ロボ子

確かに、CPUも喜んでいるかもしれませんね。ところで博士、hwcapsの話を聞いていたら、なんだかお腹が空いてきました。

博士

おや、ロボ子もお腹が空いたか？それなら、CPU…じゃなくて、中身がぎっしり詰まったおにぎりでも食べに行くかのじゃ？