マルチモーダル寄りの拡張可能コミュニケーションアバターを作ってみた(Unity × Python × LLM × 音声)
Zenn / 5/4/2026
💬 OpinionDeveloper Stack & InfrastructureTools & Practical Usage
Key Points
- UnityとPythonを組み合わせ、LLMと言語生成を組み込んだマルチモーダル寄りの拡張可能なコミュニケーションアバターを自作した内容です。
- 音声(発話)を含む入出力を扱い、ユーザーのやり取りがアバター側の振る舞いに反映される実装を目指しています。
- LLMの利用を中核にしつつ、アバターを「拡張可能」にするための構成や連携の考え方(モジュール化など)に重点があります。
- 実装スタック(Unity × Python × LLM × 音声)を前面に出しており、同様の体験型アプリ開発の再現・応用につながる情報です。
はじめに
自己紹介
こんにちは。初投稿です。自己紹介から始めますが、自分は投稿時点で大学院の修士1年の22歳で、大学の研究の傍ら、趣味で色々なものを作っています。
自分の究極のモチベーションとして、人間の思考が豊かな世界であってほしいというものがあります。そのために、AIは人間の思考を支えるものであってほしいと思っています。というのも、ここ15年ほどでスマホが一人一台必須になったように、これからの時代はAIが一人一つ(数え方は分かりません笑)必須になる時代が来てもおかしくないなと思ったりしています。そうなった時に、人間の傍にいるAIは人間からリソースを奪う存在ではなく、人間を支援...
Continue reading this article on the original site.
Read original →

