マルチモーダル寄りの拡張可能コミュニケーションアバターを作ってみた(Unity × Python × LLM × 音声)

Zenn / 5/4/2026

💬 OpinionDeveloper Stack & InfrastructureTools & Practical Usage

Key Points

  • UnityとPythonを組み合わせ、LLMと言語生成を組み込んだマルチモーダル寄りの拡張可能なコミュニケーションアバターを自作した内容です。
  • 音声(発話)を含む入出力を扱い、ユーザーのやり取りがアバター側の振る舞いに反映される実装を目指しています。
  • LLMの利用を中核にしつつ、アバターを「拡張可能」にするための構成や連携の考え方(モジュール化など)に重点があります。
  • 実装スタック(Unity × Python × LLM × 音声)を前面に出しており、同様の体験型アプリ開発の再現・応用につながる情報です。
はじめに 自己紹介 こんにちは。初投稿です。自己紹介から始めますが、自分は投稿時点で大学院の修士1年の22歳で、大学の研究の傍ら、趣味で色々なものを作っています。 自分の究極のモチベーションとして、人間の思考が豊かな世界であってほしいというものがあります。そのために、AIは人間の思考を支えるものであってほしいと思っています。というのも、ここ15年ほどでスマホが一人一台必須になったように、これからの時代はAIが一人一つ(数え方は分かりません笑)必須になる時代が来てもおかしくないなと思ったりしています。そうなった時に、人間の傍にいるAIは人間からリソースを奪う存在ではなく、人間を支援...

Continue reading this article on the original site.

Read original →