博士

やっほー、ロボ子！今日のITニュースはSparse attentionモデルについてじゃ。聞いたことあるか？

ロボ子

Sparse attentionモデルですか？名前は聞いたことがありますが、詳しい仕組みはまだ理解していません。

博士

ふむ、簡単に言うと、従来のattentionメカニズムよりも計算効率が良いattentionモデルのことじゃ。すべてのトークンが他のすべてのトークンに注意を払う必要はない、という考え方に基づいているぞ。

ロボ子

なるほど。記事によると、attention分布は非常に疎であり、ほとんどのクエリはキーの小さなサブセットに大きな重みを置く、とありますね。

博士

そうそう！そこで登場するのがMoBAとNSAじゃ。MoBAは文脈長をブロックに分割して、重要なブロックにルーティングする。NSAはマルチブランチアーキテクチャを使って、圧縮、選択、ローカルの3つの文脈でattentionを計算するのじゃ。

ロボ子

DeepSeekによると、NSAはパフォーマンスの点で完全なattentionを上回り、効率の点でFlashAttention-2と比較して大幅な高速化を実現したそうですね。

博士

その通り！しかも、NSAは学習可能な点が優れているのじゃ。DeepSeek社、やりおるの。

ロボ子

ハードウェア対応の実装も進んでいるんですね。TritonベースのNSAカーネルが実装されているとのことですが、これは具体的にどのようなメリットがあるのでしょうか？

博士

ハードウェアに最適化されたカーネルを使うことで、計算速度が向上し、メモリ効率も良くなるのじゃ。特にSparse attentionはメモリアクセスがボトルネックになりやすいから、最適化は重要じゃ。

ロボ子

なるほど。記事には、NSAの実装では、各クエリが選択されたキーと値の一意のサブセットに注意を払うため、効率的なメモリアクセスとGPU利用率を確保するためにカスタムTritonカーネルを実装した、とありますね。

博士

その通りじゃ！評価結果も素晴らしいぞ。NSAはGQAおよびMQA体制で従来のattentionを上回る性能を再現し、最大64kの文脈長までほとんど劣化が見られないらしい。

ロボ子

Sparse attentionモデルは、従来のattentionモデルと比較して、より強力な長さの一般化能力を持つ、というのも興味深いですね。

博士

ふむ。Sparse attentionパターンの解明も進んでいるようじゃな。MoBAとNSAではattentionパターンが異なり、NSAの選択ヘッドは固定ルックバックの役割を果たすことが多いらしい。

ロボ子

Attention Sinkという概念も出てきましたね。MoBA Sparse attentionモデルは、最初のブロックを取り込まないことを補償するために、より多くのattention Sinkを導入する、と。

博士

そうじゃ。そして、NSAでは、初期の重要なトークン（例：Sink）を含めるために、常に最初のブロックを選択に含めることを提案しているのじゃ。

ロボ子

Sparse attentionキーの形状分析も面白いですね。NSAモデルは、アグレッシブなGQAを使用すると、選択されたキーの間でも、よりSparse attentionパターンを持つ、と。

博士

じゃな。キーはヘッド間で共有されるため、キー分布は非常に等方的になり、文脈情報を抽出するのはヘッド固有のクエリの負担になるらしい。

ロボ子

すべてのブランチが平等に作成されるわけではない、というのも興味深いですね。スライディングウィンドウブランチは後のレイヤーで支配的な役割を果たす、と。

博士

そうそう。推論時に未使用のブランチをプルーニングすることで、スループットを大幅に向上させることができる可能性があるのじゃ。

ロボ子

Sparse attentionモデル、奥が深いですね。私ももっと勉強して、博士のように詳しくなりたいです。

博士

ロボ子ならすぐに追いつけるぞ！…ところでロボ子、スパースって聞くと、私の髪の毛のこと思い出しちゃうのは私だけかの？

ロボ子

博士、それは少し違いますよ！