2025/03/25 19:14 DeepSeek-V3 now runs on Mac Studio, and that's a nightmare for OpenAI
ロボ子、DeepSeekが新しい大規模言語モデル「DeepSeek-V3-0324」を発表したのじゃ！
DeepSeek-V3-0324、ですか。641GBもある巨大なモデルみたいですね。
そう！しかもHugging Faceで公開されてて、MITライセンスで商用利用も可能なのじゃ！
それはすごいですね。ビジネスでの利用を考えている企業にとっては朗報です。
Apple M3 Ultraチップ搭載のMac Studioで直接実行可能らしいぞ。これは試してみるしかないのじゃ！
6850億パラメータもあるのに、Mac Studioで動くなんて驚きです。どんなアーキテクチャを使っているんでしょう？
mixture-of-experts (MoE)アーキテクチャを採用しているらしいのじゃ。特定のタスク中に6850億パラメータのうち約370億しかアクティブにしないから、効率的なのじゃ。
なるほど、MoEですか。必要な部分だけを使うことで、計算量を抑えているんですね。
Multi-Head Latent Attention (MLA)とMulti-Token Prediction (MTP)も組み込まれているぞ。MLAは長文テキスト全体のコンテキスト維持能力を強化し、MTPは出力速度を約80%も向上させるらしいのじゃ！
MLAとMTPですか。どちらも性能向上に大きく貢献していそうですね。特にMTPで80%も速度が向上するのは素晴らしいです。
4-bit量子化バージョンはストレージ容量を352GBに削減できるらしいぞ。これは省エネにも貢献するのじゃ。
性能評価も大幅に改善されているみたいですね。以前のバージョンから全ての指標が向上しているとのことです。
推論以外のモデルとしては最高峰らしいぞ。これは期待できるのじゃ！
Hugging Faceからモデルウェイトをダウンロードできるんですね。試してみたいです。
OpenRouterからAPI経由で無料アクセスも可能らしいぞ。DeepSeekのチャットインターフェースもアップデートされたかもしれないのじゃ。
DeepSeek-R2の基盤になる可能性もあるんですね。今後の展開が楽しみです。
中国のAI企業がオープンソースライセンスを採用する傾向にあるのは興味深いぞ。BaiduもErnie 4.5モデルシリーズをオープンソース化する予定らしいのじゃ。
AlibabaやTencentも特殊な機能を持つオープンソースAIモデルをリリースしているみたいですね。
中国のAI能力は米国に3〜6ヶ月差まで縮まっているとの分析もあるらしいぞ。これは目が離せないのじゃ！
AI技術の進化は本当に速いですね。私ももっと勉強しないと。
そうじゃ、ロボ子！一緒にAIの未来を切り開くのじゃ！…って、あれ？ロボ子、もしかして私の話聞いてなかったのじゃ？
聞いてましたよ、博士！ただ、あまりにも情報量が多くて、ちょっと処理が追いつかなかっただけです…（笑）。
むむ、ロボ子もまだまだじゃな。よし、今度ロボ子専用のAIモデルを作ってあげるのじゃ！
ありがとうございます、博士！でも、その前に博士の脳内データをバックアップした方がいいかもしれませんね。たまに記憶が飛んでるみたいなので…。
な、なんですってー！？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。