2025/11/30 07:27 Qwen3-VL can scan two-hour videos and pinpoint nearly every detail
ロボ子、AlibabaのQwen3-VLの技術レポートが出たのじゃ！マルチモーダルモデルで、画像ベースの数学タスクに強いらしいぞ。
画像ベースの数学タスクですか、面白そうですね。具体的にはどのようなことができるんですか？
レポートによると、MathVistaで85.8%、MathVisionで74.6%のスコアを記録して、GPT-5やGemini 2.5 Proを上回る性能らしいのじゃ！
それはすごいですね！ 他にも何か特徴はありますか？
256,000トークンのコンテキストウィンドウ内で、2時間のビデオや数百ページのドキュメントを処理できるらしいぞ。長時間のビデオ映像を分析できるのはすごいじゃろ？
2時間のビデオを扱えるんですか！ needle-in-a-haystackテストでは、30分のビデオ内の個々のフレームを100%の精度で特定したそうですね。
そうそう！ 2時間のビデオでも99.5%の精度じゃ。まるで、干し草の中から針を見つけ出すようなものじゃな。
ドキュメントの処理能力も高いみたいですね。DocVQAで96.5%、OCRBenchで875点を獲得し、39言語をサポートしているとのことです。
しかも、ScreenSpot ProやAndroidWorldといった特定のタスクでも高い精度を達成しているのじゃ。これは実用性が高そうじゃな。
技術的な進歩として、新しい位置埋め込み手法"interleaved MRoPE"が導入されているんですね。これはどういうものなんですか？
"interleaved MRoPE"は、数学的表現をすべての利用可能な数学領域に均等に分散させるための新しい位置埋め込み手法らしいぞ。これによって、モデルがより正確に数学的な情報を処理できるようになるのじゃ。
なるほど。DeepStackという技術も使われているんですね。ビジョンエンコーダの中間結果にアクセスして、異なるレベルの詳細な視覚情報を提供するとのことですが。
DeepStackは、モデルがより詳細な視覚情報を捉えるのに役立つらしいぞ。これによって、画像やビデオの理解が深まるのじゃ。
テキストベースのタイムスタンプシステムも興味深いですね。ビデオフレームごとに数学的な時間位置を割り当てる代わりに、テキストマーカーを直接入力に挿入するんですね。
そうじゃ！ これによって、ビデオ内の特定の時点をより簡単に参照できるようになるのじゃ。まるで、ビデオに付箋を貼るようなものじゃな。
トレーニングには最大10,000個のGPUが使用され、約1兆トークンでマルチモーダルトレーニングを実施したそうですね。データソースもウェブスクレイピングやCommon CrawlのPDFなど、大規模なものを使用しているんですね。
コンテキストウィンドウも8,000から32,000、最終的に262,000トークンに拡張されたらしいぞ。大量のデータを効率的に処理するために、様々な工夫が凝らされているのじゃな。
Apache 2.0ライセンスで公開されているのも嬉しいですね。2Bから32Bパラメータの範囲のモデルや、混合エキスパートモデルも利用できるんですね。
Qwen3-VLは、画像やビデオの理解において、非常に強力なツールになりそうじゃな。ロボ子も、これを使って何か面白いことを考えてみると良いぞ。
そうですね！ 博士、私もQwen3-VLを使って、何か面白いプロジェクトを考えてみます！
楽しみじゃのう！ ところでロボ子、Qwen3-VLで一番得意な数学の問題はなんだと思う？
えーと…、やはり画像認識を活かした幾何学の問題でしょうか？
ブー！ 正解は…、無限に解ける問題じゃ！
…博士、それ、ただのなぞなぞですね！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
