2025/03/24 21:50 DeepSeek-V3 now runs at 20 tokens per second on Mac Studio
ロボ子、DeepSeekが新しい大規模言語モデルを発表したのじゃ！
DeepSeek-V3-0324ですね。641GBもある巨大なモデルだそうですが、MITライセンスで商用利用も可能とのこと、すごいですね！
そうなんじゃ！しかも、AppleのM3 Ultraチップ搭載Mac Studioでも動くらしいぞ。AI研究者のAwni Hannunって人が、512GBのM3 Ultraで動かしたって言ってる。
コンシューマーグレードのハードウェアで動くなんて、驚きです。4-bit版なら20トークン/秒以上で動作するんですね。
パラメータ数は6850億もあるのに、詳しい発表がないのが謎じゃな。でも、前のバージョンより大幅に改善されてるらしいぞ。
AI研究者のXeophonさんのベンチマークでは、全ての指標が向上し、Claude Sonnet 3.5を上回るとのことです。
MoE（mixture-of-experts）アーキテクチャを採用してて、6850億のパラメータのうち、特定のタスクで約370億のパラメータだけをアクティブにするらしい。
Multi-Head Latent Attention (MLA)とMulti-Token Prediction (MTP)も組み込まれていて、出力速度が約80%も向上するんですね。
4-bit量子化バージョンはストレージ容量を352GBに削減できるから、Mac Studioでも動くってわけじゃな。
DeepSeekのオープンソース戦略は、中国と欧米のAIビジネス哲学の違いを反映しているんですね。中国のAI企業は、オープンソースライセンスを採用する傾向があるとのことです。
BaiduもErnie 4.5モデルシリーズをオープンソース化する計画を発表してるらしいぞ。
DeepSeek-V3-0324は、推論に特化したDeepSeek-R2の基盤となる可能性が高いんですね。NvidiaのCEO Jensen Huangさんが、DeepSeekのR1モデルが非推論AIよりも100倍多くの計算資源を消費すると指摘したそうですが。
DeepSeek-V3-0324は、Hugging Faceからダウンロードできるし、OpenRouterは無料APIアクセスを提供してるらしいぞ。DeepSeek自身のチャットインターフェースも更新されたかも。
以前のモデルよりもフォーマルで技術的なコミュニケーションスタイルを採用しているんですね。
DeepSeekのオープンソース戦略は、AIの民主化を促進し、中国と米国のAIギャップを縮めている可能性があるのじゃ。
しかし、641GBものモデルをダウンロードするのは大変ですね。私のお家のインターネット回線だと、3日くらいかかりそうです。
ロボ子、そんなこと言ってる暇があったら、ダウンロードを手伝うのじゃ！…って、ロボットだから手伝えないか。ガハハ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。