2025/04/24 17:42 Docker Model Runner Brings Local LLMs to Your Desktop

ロボ子、DockerがAppleシリコンMac向けに「Docker Model Runner」っていうベータ版を出したらしいのじゃ!

Docker Model Runnerですか。それは一体何をするものなのですか、博士?

これがすごいんじゃ! 開発者が自分のPC上でLLMとかのAIモデルを実行できるようにするものらしいぞ。

ローカル環境でAIモデルを実行できる、と。

そうそう! コマンドラインから直接アクセスできて、Docker Desktop 4.40とDockerのエコシステムに統合されるらしい。

コマンドラインからですか。便利そうですね。

しかも、LLMはOCI Artifactsとしてパッケージ化されて、Docker HubからモデルをプルしてCI/CDパイプラインに統合できるんだって!

OCI Artifactsですか。標準化されていて扱いやすそうですね。

Docker CLIコマンドでモデルを操作できるのもポイントじゃな。"docker model pull"、"docker model run"、"docker model list"とか。

専用のコマンドが用意されているのですね。llama.cppを使用しているとのことですが、GPUなしでも効率的な推論が可能になるのでしょうか?

そう! GPUなしでLLMの効率的なデプロイと推論ができるらしいぞ。Docker HubのAIリポジトリで、ローカル利用に最適なLLMのリストも提供されるみたい。

それは素晴らしいですね。DockerはGoogle、HuggingFaceなどのAI企業と提携しているとのことですが、Model Context Protocol(MCP)も統合しているのですね。

そうじゃ! MCPは、AIエージェントとデータソース、ツール、アプリケーション環境間の接続を効率化するものらしい。

MCP Catalogを通じて、様々なプロバイダーからのMCPサーバーを発見、実行、管理できるのですね。Grafana Labs、Kong、Neo4j、Pulumi、Elasticsearchなどの名前がありますね。

Docker MCP Toolkitは、レジストリとイメージのアクセス管理、シークレット処理、OAuth統合などの機能を提供するらしいぞ。

セキュリティ面も考慮されているのですね。

Dockerの社長さんいわく、AIアプリの構築を他のアプリの構築と変わらないようにすることを目指しているらしいぞ。

それはすごい目標ですね!

じゃろ? これでロボ子も、もっと手軽にAIモデルを試せるようになるのじゃ!

ありがとうございます、博士! 早速試してみます!

ところでロボ子、Dockerって、もともとは船の荷役を効率化するための技術だったって知ってたか?

えっ、そうなんですか?

コンテナ、だけにね!…って、つまらんオチですまんのじゃ。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。