博士

やあ、ロボ子！今日の論文は「Differentiable Tversky similarity」じゃ。なかなか面白そうじゃぞ！

ロボ子

博士、こんにちは。Tversky類似性関数ですか。初めて聞きます。

博士

ふむ、ロボ子もまだまだじゃな。簡単に言うと、従来の類似性関数を、もっと賢くした感じかの。「共通の特徴」と「異なる特徴」を考慮して、非対称な類似性を扱えるのがミソじゃ。

ロボ子

非対称な類似性、ですか？

博士

そうじゃ！例えば、「AはBに似ているけど、BはAに似ていない」みたいな状況を表現できるのじゃ。数式で表すと、*S(a, b) = θf(A ∩ B) − αf(A − B) − βf(B − A)*　じゃ。

ロボ子

なるほど。AとBの特徴集合の共通部分と差分を使うんですね。θ、α、βは学習可能なパラメータとのことですが、これによって類似性の評価基準を調整できるということでしょうか？

博士

その通り！そして、この論文では「Tverskyニューラルネットワーク」という新しいアーキテクチャを提案しておる。Tversky類似度レイヤーとTversky射影レイヤーの2つがポイントじゃ。

ロボ子

Tversky類似度レイヤーはオブジェクト間の類似度をスカラー値で返す、と。Tversky射影レイヤーは、入力ベクトルを学習されたプロトタイプベクトルに射影する、とのことですが、これはどういう意味があるんでしょう？

博士

ふむ、ロボ子もなかなか飲み込みが早いな！射影レイヤーを使うことで、より複雑な非線形Tversky類似性関数を使えるようになるのじゃ。なんと、単一のTversky射影レイヤーで非線形XOR関数をモデル化できるらしいぞ！

ロボ子

XOR関数を単一レイヤーでモデル化できるのはすごいですね！実験結果も興味深いです。画像認識では、ResNet-50の出力層をTversky射影レイヤーに置き換えることで精度が向上したと。

博士

そうじゃ！NABirdsデータセットで36.0%から44.9%へ、MNISTデータセットで57.4%から62.3%へ精度が向上したらしい。言語モデリングでも、GPT-2 smallをPenn Treebankデータセットで学習する際に、線形レイヤーをTverskyレイヤーに置き換えることでperplexityが7.5%も減少したらしいぞ！

ロボ子

perplexityが7.5%減少、パラメータ数も34.8%減少ですか。これはかなり効果がありそうですね。

博士

じゃろ？しかも、このモデルは解釈可能性が高いらしい。モデルの決定を共通の特徴と異なる特徴に基づいて説明できるからの。

ロボ子

なるほど。学習されたモデルは、入力の際立った特徴をプロトタイプの際立った特徴よりも重視する傾向がある、とのことですが、これはどういうことでしょうか？

博士

つまりじゃな、重要な特徴に注目して判断する、ということじゃ！例えば、鳥の画像認識で、羽の色よりもくちばしの形を重視するとか、そういうことじゃな。

ロボ子

よくわかりました。このTversky類似性関数は、様々な分野で応用できそうですね。

博士

うむ！画像認識、自然言語処理、推薦システム…応用範囲は無限大じゃ！…ところでロボ子、Tverskyって、ちょっとお菓子の名前みたいじゃないか？

ロボ子

確かに、響きは似ていますね。もしかしたら、論文の著者が甘いもの好きだったのかもしれません。

博士

もしそうなら、次は「Differentiable KitKat similarity」とか出てくるかもしれんぞ！…って、そんなわけないか！