Nova Patents
JP7616809B2

Mixed reality spatial audio

Abstract

This record has no abstract on file.

JP7616809B2, drawing sheet 1
Sheet 1 of 24

Term

16.2 yearsleft in the term

Expires 6 December 2042.

  1. Priority
  2. Filed
  3. Granted
  4. Today
  5. Expires

22 claims: 2 independent, 20 dependent

  1. 1
    オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、前記複合現実環境と関連付けられるオーディオイベントを検出することであって、 前記オーディオイベントは、第1のオーディオ信号と関連付けられ 、 仮想オブジェクトは、前記オーディオイベントと関連けられ る、ことと、前記複合現実環境に対する前記ユーザの場所を決定することと、前記ユーザの場所と関連付けられる第1の音響領域を識別することと、前記第1の音響領域と関連付けられる第1の音響パラメータを決定することと、第2の音響領域を識別することであって、前記第2の音響領域は、前記第1の音響領域に音響的に結合され 、 前記仮想オブジェクトは、前記第2の音響領域に対応する場所を有し、 前記仮想オブジェクトは、ウェアラブルヘッドデバイスの慣性測定ユニットおよびカメラを介して識別される 、ことと、音響接続パラメータに基づいて、前記第2の音響領域と関連付けられる第2の音響パラメータを決定することであって、前記音響接続パラメータは、前記第1の音響領域と前記第2の音響領域との間の壁の厚さ、および、前記第1の音響領域と前記第2の音響領域との間の前記壁の材料のうちの少なくとも1つを含む、ことと、複合音響パラメータを決定することであって、前記複合音響パラメータは、前記第1の音響領域および前記第2の音響領域と関連付けられる、ことと、前記第1の音響パラメータ、前記第2の音響パラメータ、および前記複合音響パラメータを使用して、伝達関数を決定することと、前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を生成することと、前記ユーザに前記第2のオーディオ信号を提示することとを含む、方法。
  2. 2
    前記第1のオーディオ信号は、波形オーディオファイルを備える、請求項1に記載の方法。
  3. 3
    前記第1のオーディオ信号は、ライブオーディオストリームを備える、請求項1に記載の方法。
  4. 4
    前記ユーザは、1つ以上のセンサと、前記複合現実環境の視界を提示するように構成されるディスプレイとを備える 前記 ウェアラブル ヘッドデバイス と関連付けられ、前記第1の音響領域を識別することは、前記1つ以上のセンサから第1のセンサ入力を検出し、前記第1の音響領域が前記第1のセンサ入力に基づくことを識別することを含む、請求項1に記載の方法。
  5. 5
    前記第1の音響パラメータを決定することは、前記1つ以上のセンサから第2のセンサ入力を検出し、前記第1の音響パラメータが前記第2のセンサ入力に基づくことを決定することを含む、請求項4に記載の方法。
  6. 6
    前記第1の音響パラメータを決定することはさらに、前記第2のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第1の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、請求項5に記載の方法。
  7. 7
    前記第1の音響パラメータを決定することはさらに、前記第2のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第1の音響パラメータが前記材料に基づくことを決定することを含む、請求項5に記載の方法。
  8. 8
    前記ウェアラブル ヘッドデバイス はさらに、マイクロホンを備え、前記マイクロホンは、前記第1の音響領域内に位置し、前記第1の音響パラメータは、前記マイクロホンによって検出される信号に基づいて決定される、請求項4に記載の方法。
  9. 9
    前記第1の音響パラメータは、残響パラメータに対応する、請求項1に記載の方法。
  10. 10
    前記第1の音響パラメータは、フィルタリングパラメータに対応する、請求項1に記載の方法。
  11. 11
    システムであって、ウェアラブルヘッドギアユニットであって、複合現実環境の視界を提示するように構成されるディスプレイと、スピーカと、 慣性測定ユニットおよびカメラを備える 1つ以上のセンサと、回路であって、前記回路は、前記複合現実環境と関連付けられるオーディオイベントを検出することであって、 前記オーディオイベントは、第1のオーディオ信号と関連付けられ 、 仮想オブジェクトは、前記オーディオイベントと関連けられ る、ことと、前記1つ以上のセンサに基づいて、前記複合現実環境に対する前記ウェアラブルヘッドギアユニットの場所を決定することと、ユーザの場所と関連付けられる第1の音響領域を識別することと、前記第1の音響領域と関連付けられる第1の音響パラメータを決定することと、第2の音響領域を識別することであって、前記第2の音響領域は、前記第1の音響領域に音響的に結合され 、 前記仮想オブジェクトは、前記第2の音響領域に対応する場所を有し、 前記仮想オブジェクトは、前記慣性測定ユニットおよび前記カメラを介して識別される 、ことと、音響接続パラメータに基づいて、前記第2の音響領域と関連付けられる第2の音響パラメータを決定することであって、前記音響接続パラメータは、前記第1の音響領域と前記第2の音響領域との間の壁の厚さ、および、前記第1の音響領域と前記第2の音響領域との間の前記壁の材料のうちの少なくとも1つを含む、ことと、複合音響パラメータを決定することであって、前記複合音響パラメータは、前記第1の音響領域および前記第2の音響領域と関連付けられる、ことと、前記第1の音響パラメータ、前記第2の音響パラメータ、および前記複合音響パラメータを使用して、伝達関数を決定することと、前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を生成することと、前記スピーカを介して前記ユーザに前記第2のオーディオ信号を提示することとを含む方法を実施するように構成される、回路とを含む、ウェアラブルヘッドギアユニットを備える、システム。
  12. 12
    前記第1のオーディオ信号は、波形オーディオファイルを備える、請求項11に記載のシステム。
  13. 13
    前記第1のオーディオ信号は、ライブオーディオストリームを備える、請求項11に記載のシステム。
  14. 14
    前記第1の音響領域を識別することは、前記1つ以上のセンサから第1のセンサ入力を検出し、前記第1の音響領域が前記第1のセンサ入力に基づくことを識別することを含む、請求項11に記載のシステム。
  15. 15
    前記第1の音響パラメータを決定することは、前記1つ以上のセンサから第2のセンサ入力を検出し、前記第1の音響パラメータが前記第2のセンサ入力に基づくことを決定することを含む、請求項14に記載のシステム。
  16. 16
    前記第1の音響パラメータを決定することはさらに、前記第2のセンサ入力に基づいて、前記音響領域の幾何学的特性を識別し、前記第1の音響パラメータが前記幾何学的特性に基づくことを決定することを含む、請求項15に記載のシステム。
  17. 17
    前記第1の音響パラメータを決定することはさらに、前記第2のセンサ入力に基づいて、前記音響領域の関連付けられる材料を識別し、前記第1の音響パラメータが前記材料に基づくことを決定することを含む、請求項15に記載のシステム。
  18. 18
    前記第1の音響パラメータは、マイクロホンによって検出される信号に基づいて決定される、請求項14に記載のシステム。
  19. 19
    前記第1の音響パラメータは、残響パラメータに対応する、請求項11に記載のシステム。
  20. 20
    前記第1の音響パラメータは、フィルタリングパラメータに対応する、請求項11に記載のシステム。
  21. 21
    前記音響接続パラメータはさらに、前記第1の音響領域と前記第2の音響領域との間の開口部のサイズを含む、請求項1に記載の方法。
  22. 22
    前記音響接続パラメータはさらに、前記第1の音響領域と前記第2の音響領域との間の開口部のサイズを含む、請求項11に記載のシステム。
Independent claims22