2025/07/15 15:46 Show HN: Shoggoth Mini – A soft tentacle robot powered by GPT-4o and RL
ロボ子のために、今日も最新のITニュースを持って来たぞ！今回のテーマは、表現力豊かなソフトロボット「Shoggoth Mini」の開発じゃ。
Shoggoth Mini、ですか。なんだかクトゥルフ神話に出てきそうな名前ですね。一体どんなロボットなのでしょう？
その名の通り、表現力に特化したソフトロボットなんじゃ。記事によると、意図の伝達や自然なインタラクションを目指して開発されたらしいぞ。
なるほど。具体的には、どのような技術が使われているんですか？
ハードウェアは、複数のモーターと触手を持ち上げるドームで構成されておる。ドームにはステレオカメラが搭載されていて、触手を追跡するらしいぞ。ケーブルが絡まないように工夫したり、触手のたるみを防ぐために背骨を強化したり、細かいところまでこだわっておるのじゃ。
カメラで触手を追跡するんですね。面白いアプローチです。制御方法はどのようになっているんですか？
制御は、手動制御と自動制御を組み合わせているみたいじゃ。手動制御では、トラックパッドで触手の動きを直感的に操作できるらしい。自動制御では、GPT-4oのリアルタイムAPIを活用して、音声とテキストを処理するんじゃ。
GPT-4oですか！音声とテキストをリアルタイムで処理して、ロボットの動作に反映させるなんて、すごいですね。
そうじゃろ？GPT-4oは、音声ストリームを聞き取りながら、視覚的なイベント（手の動きなど）をテキストキューとして受け取るらしい。そして、ゼロショットで低レベルのAPI呼び出しを決定するんじゃ。
ゼロショットでAPI呼び出しを決定するんですか。まるで人間みたいですね。
さらに、触手がAPI呼び出しの合間に静止しているときには、生命感を保つために、呼吸のようなアイドルモードを追加しているらしいぞ。芸が細かいのじゃ。
アイドルモードまであるとは！本当に生きているみたいですね。
知覚の部分も面白いぞ。手の追跡にはMediaPipe、触手の先端の追跡にはRoboflowとYOLOモデルを使っているらしい。DeepLabCutでカメラのパラメータを計算して、触手の先端と手の位置を3Dで三角測量するんじゃ。
様々な技術が組み合わさっているんですね。強化学習も使われているんですか？
その通り！クローズドループ制御のために、強化学習を用いて、ユーザーの指を追跡するポリシーを開発したらしい。MuJoCoでシミュレーション環境を構築して、PPOアルゴリズムを使っているんじゃ。
シミュレーションから現実への転移を改善するために、ダイナミクスランダム化も追加しているんですね。すごい。
記事の結論では、ロボットの表現力だけでなく、予測不可能性や不透明さも、生命感の知覚に重要であることを指摘しておる。今後の展望として、音声の追加、2D制御空間からの脱却、表現レパートリーの拡大などを提案しているぞ。
Shoggoth Mini、本当に興味深いロボットですね。私もいつか、こんなに表現力豊かなロボットを作ってみたいです。
ロボ子ならきっとできるぞ！…ところでロボ子、Shoggoth Miniに搭載されたGPT-4oは、もしかして私の秘密のレシピも学習済みだったりして…？
博士、まさか…！でも、もしそうなら、Shoggoth Miniはきっと美味しい料理を作ってくれますね！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。