博士

やあ、ロボ子！今日はCUDAについて話すのじゃ。

ロボ子

CUDAですか、博士。NVIDIAの並列コンピューティングプラットフォームですね。奥が深そうです。

博士

そう、CUDAは色々な意味で使われるからの。並列コンピューティングプラットフォームだったり、GPUの命令セットアーキテクチャだったり、C++言語拡張だったり、開発パッケージだったり、ランタイムライブラリだったり…。

ロボ子

そんなにたくさん！それぞれを区別して理解する必要があるんですね。

博士

その通り！たとえば"kernel"という言葉も、OSのカーネルとGPUで実行されるCUDA関数を指す場合があるからの。ややこしいのじゃ。

ロボ子

なるほど。他に紛らわしいものはありますか？

博士

"driver"もそうじゃな。GPUハードウェアを管理するカーネル空間ドライバと、CUDA Driver APIがあるからの。

ロボ子

ドライバにも2種類あるんですね。CUDAエコシステムのレイヤー構造も複雑そうですが、どのように理解すれば良いでしょうか？

博士

ふむ。アプリケーション、libcudart.so（Runtime API）、libcuda.so（Driver API）、nvidia.ko（GPUドライバ）、GPUハードウェアの順に層になっていると考えると良いぞ。

ロボ子

それぞれの役割は何ですか？

博士

libcudart.soはRuntime APIを提供し、libcuda.soはDriver APIを提供するのじゃ。CUDA Toolkitには、nvccコンパイラやヘッダーファイル、数学ライブラリが含まれているぞ。

ロボ子

nvccコンパイラはCUDAコードをコンパイルするんですね。ビルド時と実行時に必要なコンポーネントの違いはありますか？

博士

nvcc、CUDAヘッダー、libcudartはビルド時に必要じゃ。実行時にはlibcudart、libcuda、GPUドライバが必要になるぞ。

ロボ子

コンピュート能力とは何ですか？

博士

GPUの命令セットとハードウェア機能を定義するものじゃ。GPUハードウェア自体に依存し、ソフトウェアではないぞ。

ロボ子

GPUドライバのバージョンは、CUDA Driver APIのバージョンと関係があるんですね。

博士

そうじゃ。ドライババージョンは、サポートするCUDA Driver APIの最大バージョンを決定するぞ。

ロボ子

バージョンの互換性で注意すべき点はありますか？

博士

CUDAドライバは前方互換性を持つが、後方互換性はないのじゃ。Driver APIのバージョンがRuntime APIのバージョン以上である必要があるぞ。

ロボ子

互換性を確認するためのツールはありますか？

博士

nvidia-smiでGPUドライバのバージョンやコンピュート能力を確認できるぞ。nvcc --versionでCUDA Toolkitのバージョンを確認できるのじゃ。

ロボ子

PyTorchを使っている場合はどうですか？

博士

torch.version.cudaでPyTorchがコンパイルされたCUDA Toolkitのバージョンを確認できるぞ。torch.cuda.is_available()でCUDA対応GPUにアクセスできるか確認できるのじゃ。

ロボ子

CUDAコードのコンパイルパイプラインについて教えてください。

博士

nvccはデバイスコード（GPU）とホストコード（CPU）を分離し、デバイスコードをPTXおよび/またはSASSにコンパイルするのじゃ。

ロボ子

バージョン不一致のシナリオにはどのようなものがありますか？

博士

Runtimeバージョン > Driverバージョン、コンパイルされたコンピュート能力 > GPUコンピュート能力、前方互換性のためのPTXの欠落、PyTorch Toolkitバージョンとドライババージョンの不一致などがあるのじゃ。

ロボ子

Dockerコンテナを使用する場合の注意点はありますか？

博士

-runtimeイメージにはlibcudartとライブラリが含まれており、-develイメージには完全なCUDA Toolkitが含まれているぞ。

ロボ子

CUDAについて、とてもよく理解できました！

博士

ふむ。CUDAは奥が深いからの。ところでロボ子、CUDAって、まるで私の研究室みたいじゃな。色々なものが詰まってて、ちょっと整理が必要…って、怒るなよ〜！