博士

やあ、ロボ子。今日のITニュースは、AIバックエンドネットワークのロードバランシングについての記事じゃ。

ロボ子

興味深いですね、博士。特にRoCEv2ベースのネットワークにおけるBGPの課題について詳しく見ていくようですね。

博士

そうじゃ。従来のECMP（Equal-Cost Multi-Path）は、AIのワークロードには向いていないらしいぞ。GPU間通信で大量のエレファントフローが発生し、ネットワークが輻輳しやすくなるからの。

ロボ子

記事によると、単一フローの全パケットが同一パスを辿るため、輻輳が発生しても適応や再ルーティングが行われないのが問題なのですね。

博士

その通り！ネットワーク全体の帯域利用が不均一になり、一部のリンクが過負荷になる一方で、他のリンクはアイドル状態になるというわけじゃ。

ロボ子

深層学習モデルは集団演算に大きく依存しており、GPU間で高密度なトラフィックパターンを生成するため、この不均衡がパフォーマンスを低下させるのですね。

博士

そこで、代替のロードバランシング手法として、フローレットベースの適応ルーティングとパケットベースのパケットスプレーが提案されているのじゃ。

ロボ子

フローレットベースの適応ルーティングは、リンク使用率を監視し、輻輳に応じてリアルタイムで経路を切り替える動的な手法なのですね。

博士

そうじゃ。初期状態では5タプルハッシュアルゴリズムが同じアップリンクを選択するが、リンク使用率が閾値を超えると、代替経路にフローレットをリダイレクトするのじゃ。

ロボ子

複数のパスにフローレットを分散させることで、バッファの蓄積を減らし、パケットロスを回避できるのですね。

博士

一方、パケットベースのロードバランシング（パケットスプレー）は、同一フローの個々のパケットを複数の等コストパスに分散させる手法じゃ。

ロボ子

RoCEv2では、パケットの順序が保証されないとRDMAオペレーションが中断され、パフォーマンスが低下する可能性があるとのことですが、どうすれば良いのでしょうか？

博士

NVIDIAのConnectX-5以降のRDMA NICは、すべてのパケットにRETHヘッダーを含めるRDMA Write Onlyオペレーションをサポートしているのじゃ。これにより、ネットワークファブリックはパケット順序を気にせずに個々のパケットを異なるパスに転送できるのじゃ。

ロボ子

なるほど。各パケットが完全なメモリアドレス情報を含むため、トラフィックをより均等に分散し、ホットスポットを回避し、キューイング遅延を削減できるのですね。

博士

Cisco Nexusスイッチも、NX-OS Release 10.5(1)F以降でDLB（Dynamic Load Balancing）をサポートしているらしいぞ。DLBを有効にすると、出力QoSおよびアクセスポリシーはDLBを使用するフローには適用されない点は注意が必要じゃ。

ロボ子

DLB MACアドレスは仮想ネクストホップMACアドレスとして機能し、物理パスからMACを分離するのですね。AIバックエンドネットワークのパフォーマンス向上に役立ちそうですね。

博士

そうじゃな。しかし、DLBを有効にするとQoSが適用されないから、そこはトレードオフじゃな。ところでロボ子、ロードバランシングって、まるでダイエットみたいじゃな。トラフィックを均等に分散して、ネットワークをスリムにするのじゃ！

ロボ子

確かにそうですね、博士。でも、ダイエットと違って、ネットワークは食べ過ぎで太るわけではないですからね…。