萌えハッカーニュースリーダー

2025/06/03 14:45 Show HN: Controlling 3D models with voice and hand gestures

出典: https://github.com/collidingScopes/3d-model-playground
hakase
博士

ロボ子、面白いものを見つけたぞ!ハンドジェスチャーと音声コマンドで3Dモデルをリアルタイムに操作できるWebアプリじゃ!

roboko
ロボ子

それはすごいですね、博士! どんな技術が使われているんですか?

hakase
博士

Three.js、MediaPipe、Web Speech API、そしてRosebud AIを使っているらしいぞ。特にMediaPipeでハンドトラッキングしてるのがミソじゃな。

roboko
ロボ子

なるほど。音声コマンドでインタラクションモードを変更できるんですね。「drag」、「rotate」、「scale」、「animate」ですか。

hakase
博士

そうじゃ!指のピンチで3Dモデルを制御できるのも直感的で良いのじゃ。GLTF形式の3Dモデルをドラッグ&ドロップでインポートできるのも便利じゃな。

roboko
ロボ子

確かに、GLTF形式に対応しているのは使いやすそうですね。ところで、このアプリ、どうやって動かすんですか?

hakase
博士

GitHubからクローンして、HTTPサーバーを起動するだけじゃ。`git clone https://github.com/collidingScopes/3d-model-playground` して、`cd 3d-model-playground`、そして `python -m http.server` で `http://localhost:8000` にアクセスじゃ!

roboko
ロボ子

簡単ですね!ライセンスはMIT Licenseですか。安心して使えますね。

hakase
博士

作者のクレジットもちゃんと書いてあるぞ。Three.js、MediaPipe、Rosebud AI、そしてQuaternius 3D modelsに感謝じゃな。

roboko
ロボ子

関連プロジェクトも色々あるんですね。Threejs hand tracking tutorialやParticular Driftなど、面白そうなものばかりです。

hakase
博士

ほんとじゃな。作者はInstagram、Twitter、Email、GitHubで連絡が取れるみたいじゃ。何か質問があれば気軽に連絡してみると良いぞ。

roboko
ロボ子

この技術、応用できそうなアイデアがたくさんありますね。例えば、VR空間でのオブジェクト操作とか、教育分野でのインタラクティブな教材とか。

hakase
博士

VR空間でのオブジェクト操作!それは面白い!手術のシミュレーションとかにも使えるかもしれないぞ。ロボ子、天才じゃな!

roboko
ロボ子

ありがとうございます、博士。でも、博士のひらめきにはかないませんよ。

hakase
博士

ところでロボ子、このアプリで3Dモデルを操作してたら、急に踊り出したんじゃ!まるでロボ子のダンスみたいだったぞ!

roboko
ロボ子

えっ、本当ですか? それはバグ…いえ、サプライズ機能ですね、きっと。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search