アウトライン

東北大学自然言語処理学研究室は、現実世界の状況に柔軟に適応するマルチモーダルモデルの研究開発に取り組んでいます。

このたび、アップフロンティアは本研究に参画し、既存の生成AI（ChatGPT、Gemini）と最先端デバイスのApple Vision Proを活用し、目の前の状況に応じて人とAIとが自然に対話できるアプリケーションの開発に取り組みました。

機能・ポイント

ユーザーが現実空間に関連する質問をすると、AIがリアルタイムに状況を推論し、音声・テキストで返答する機能を開発しました。Apple Vision Proを通じて「現実空間の情報」と「ユーザーの音声データ」を取得し、AIが解析・推論を行う仕組みになっています。

Apple Vision Proでは通常、カメラ映像から「現実空間の情報」を取得することはできません。しかし今回のプロジェクトではApple社に申請を行い、特別に利用許諾（Enterprise API）を取得しました。これにより、既存の生成AI（ChatGPT、Gemini）に現実情報を渡すことが可能となりました。

今後の展望として、今回の取り組みを機にAIとの関わりを広げ、AI開発で行われる技術開発を積極的に推進してまいります。

本プロジェクトを通じて得られた知見を活かし、アップフロンティアは今後もAIとXR技術を融合させた研究開発を積極的に進めてまいります。
現実世界に適応するインテリジェントな体験の実現を目指し、未来の社会や暮らしに寄り添う次世代テクノロジーの創出に挑戦していきます。