AI と会話するとき、なぜ人間らしく感じないのか不思議に思ったことはありませんか？

その理由を知ることは、次世代音声 AI をビジネスに活用するための鍵となります。

OpenAI が発表した RealtimeAPI はどのように声のニュアンスを理解するのか解説します。

従来の音声対話システム（3段階プロセス）

従来の音声対話システムは3つの技術を連結して実現していました：

1. 音声認識（Speech-to-Text）: Whisper などのモデルで音声をテキストに変換

2. 言語モデルによる推論（Text-to-Text）: GPTなどのモデルでテキスト応答を生成

3. 音声合成（Text-to-Speech）: 生成されたテキストを人工音声に変換

この方式では、処理が逐次的に行われるためレイテンシ（遅延）が大きく、また音声からテキストへの変換時に誤認識や音声ニュアンスの喪失が発生していました。

OpenAI RealtimeAPI の新アプローチ

OpenAI の Realtime API は、GPT-4o をベースとした Speech-to-Speech を採用しています。特徴は：

• 音声の直接理解: 中間でのテキスト変換を表に出さずに、音声を直接処理

• 非言語情報の活用: 声のトーン、抑揚、感情などの非言語的手がかりを情報として保持

• 低レイテンシ: WebRTC によるストリーミング処理により、会話のラグを大幅に短縮

このアプローチにより、より自然で人間らしい対話体験が実現し、ユーザの感情や意図をより正確に捉えることが可能になりました。

RealtimeAPI の活用例

Realtime API を活用して、弊社が展開するビジネスモデルジェネレーターの PoC を行った動画です！

本 PoC では Realtime API を活用して顧客インタビュートレーニングアプリを実装してみました。このアプリでは、ユーザーがインタビュアーとなり、AIが様々な特性を持つ顧客役を演じます。

• リアルな会話体験: 顧客役のAIはプロンプトに設定された詳細な背景情報（購買履歴、好み、懸念点など）を保持しています

• 感情を含む応答: 声のトーンや間の取り方で顧客の感情状態が伝わり、より実践的な訓練が可能

• 即時フィードバック: インタビュー技術の評価と改善点をセッション後に提供

ユーザーはオープンエンドな質問技術、アクティブリスニング、そして潜在的なニーズを引き出す能力を鍛えることができます。顧客役のAIは、質問の仕方によって情報の開示度を変え、実際のインタビュー状況をシミュレートします。

８名を対象に顧客インタビュートレーニングを実施し、顧客に対する深堀り質問数が約2.5倍に増加しました。人間と行うのと変わらない感覚で顧客インタビューできるという感想が多い一方で、ドメイン知識や専門用語の認識に課題がある事がわかりました。

また、本内容について JSAI2025 にて発表予定です！

検証環境

Model: gpt-4o-realtime-preview-2024-12-17

実行環境: Apple M2 Max / MacOS Sequoia

まとめ

OpenAI の Realtime API は、従来の3段階プロセスを統合し音声から直接音声への変換を実現することで、対話の自然さと応答速度を大幅に向上させました。
声のニュアンスや感情といった非言語情報を保持できる点が革新的で、これにより音声 AI とのコミュニケーションはより人間らしく、より直感的なものへと進化しています。

株式会社 PURPOM MEDIA LAB について

当社では、リアルタイム音声対話に関する技術研究と社会実装を行っております。音声AIの最新技術導入やビジネス活用についてより詳しく知りたい方は、お気軽にお問い合わせください。専門チームが貴社のニーズに合わせたソリューションをご提案いたします。

プロダクト

• リーンクエスト：１２のプロセスによる時間を無駄にしない、着実に成長する新規事業開発

• ビジネスモルジェネレーター：仮説検証にかかる時間を生成AIで大幅カット、事業の可能性を最大化するAIツール

• テイラードAIチャット：安全性と生産性を両立する企業向けAIチャット

Purpom Media Lab では一緒に働く仲間を募集しています