Nova Patents
JP6290331B2

An adaptable framework for cloud assisted augmented reality

Abstract

This record has no abstract on file.

JP6290331B2, drawing sheet 1
Sheet 1 of 21

Term

9.9 yearsleft in the term

Expires 10 August 2036.

  1. Priority
  2. Filed
  3. Granted
  4. Today
  5. Expires

40 claims: 29 independent, 11 dependent

  1. 1
    方法であって、 モバイルプラットフォームを用いて画像データを獲得することと、ここで、前記画像データは、オブジェクトの少なくとも1つのキャプチャ画像からのものである、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングすることと、 以前に獲得された画像データと比べて前記画像データにおける変化を備えるトリガイベントが存在するか否かを判定することと、ここにおいて、前記トリガイベントは、以前のキャプチャ画像に対して前記少なくとも1つのキャプチャ画像中に異なるオブジェクトが現れるシーン変化を備える、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けている間に、前記トリガイベントが存在する場合、前記画像データをサーバに送信することと、 前記画像データに関連する情報を前記サーバから受信することと、ここにおいて、前記画像データに関連する前記情報は、前記オブジェクトの二次元(2D)モデル、前記オブジェクトの三次元(3D)モデル、前記オブジェクト上の点の三次元座標推定、拡張情報、前記オブジェクトについての顕著性情報、および、オブジェクトマッチングに関連する情報のうちの少なくとも1つを備える、 を備えており、 前記オブジェクトに対する前記モバイルプラットフォームのポーズを取得することと、 前記ポーズ、および前記画像データに関連する前記情報を用いて、前記オブジェクトをトラッキングすることと を さらに 備える、方法。
  2. 2
    前記オブジェクトをトラッキングすることは、前記サーバから受信された前記オブジェクトの基準画像を用いることをさらに備える、請求項1に記載の方法。
  3. 3
    前記画像データを前記サーバに送信する前に前記少なくとも1つのキャプチャ画像の品質を決定することをさらに備え、前記画像データは、前記少なくとも1つのキャプチャ画像の前記品質が閾値よりも良い場合にのみ、前記サーバに送信される、請求項1に記載の方法。
  4. 4
    前記少なくとも1つのキャプチャ画像の前記品質を決定することは、前記少なくとも1つのキャプチャ画像の鮮明度を分析することと、前記少なくとも1つのキャプチャ画像内の検出されたコーナの数を分析することと、学習分類子とともに前記少なくとも1つのキャプチャ画像から得られた統計値を使用することと、のうちの少なくとも1つを備える、請求項3に記載の方法。
  5. 5
    前記サーバから受信された前記画像データに関連する前記情報に基づいて、前記オブジェクトに対して拡張をレンダリングすることをさらに備える、請求項1に記載の方法。
  6. 6
    前記画像データに関連する前記情報は、前記オブジェクトの識別を備える、請求項1に記載の方法。
  7. 7
    前記少なくとも1つのキャプチャ画像は、複数のオブジェクトを備え、前記画像データに関連する前記情報は、前記複数のオブジェクトの識別を備える、請求項1に記載の方法。
  8. 8
    前記モバイルプラットフォームに対する前記複数のオブジェクトの各々についてのポーズを取得することと、 前記ポーズ、および前記画像データに関連する前記情報を用いて、前記複数のオブジェクトの各々をトラッキングすることと をさらに備える、請求項7に記載の方法。
  9. 9
    前記画像データに関連する前記情報は、前記オブジェクトの基準画像を備え、前記ポーズを取得することは、前記少なくとも1つのキャプチャ画像および前記基準画像に基づいて第1のポーズを前記サーバから受信することを備える、請求項 1 に記載の方法。
  10. 10
    視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けることが、前記第1のポーズが前記サーバから受信されるまで前記オブジェクトの基準フリートラッキングを実行することを備える、請求項 9 に記載の方法。
  11. 11
    前記第1のポーズが前記サーバから受信されたとき、前記オブジェクトの第2のキャプチャ画像を獲得することと、 漸次的な変化を決定するために、前記少なくとも1つのキャプチャ画像と前記第2のキャプチャ画像との間で前記オブジェクトをトラッキングすることと、 前記オブジェクトに対する前記モバイルプラットフォームの前記ポーズを取得するために、前記漸次的な変化および前記第1のポーズを使用することと をさらに備える、請求項 9 に記載の方法。
  12. 12
    前記オブジェクトの第2のキャプチャ画像を獲得することと、 前記基準画像を用いて、前記第2のキャプチャ画像内の前記オブジェクトを検出することと、 前記オブジェクトに対する前記モバイルプラットフォームの前記ポーズを取得するために、前記基準画像および前記第2のキャプチャ画像において検出された前記オブジェクトを使用することと、 前記オブジェクトの基準ベースのトラッキングを初期化するために前記ポーズを使用することと をさらに備える、請求項 9 に記載の方法。
  13. 13
    前記シーン変化が存在するか否かを判定することは、 前記少なくとも1つのキャプチャ画像および前記以前のキャプチャ画像を用いて第1の変化メトリックを決定することと、 以前のトリガイベントからの第2の以前のキャプチャ画像と前記少なくとも1つのキャプチャ画像とを用いて第2の変化メトリックを決定することと、 前記少なくとも1つのキャプチャ画像についてのヒストグラム変化メトリックを生成することと、 前記シーン変化を判定するために、前記第1の変化メトリック、前記第2の変化メトリック、および前記ヒストグラム変化メトリックを使用することと を備える、請求項1に記載の方法。
  14. 14
    前記画像データに関連する前記情報は、オブジェクト識別を備え、前記方法は、さらに、 前記オブジェクトの追加のキャプチャ画像を獲得することと、 前記オブジェクト識別を用いて、前記追加のキャプチャ画像内の前記オブジェクトを識別することと、 前記オブジェクト識別に基づいて前記追加のキャプチャ画像のためのトラッキングマスクを生成することと、ここで、前記トラッキングマスクは、前記オブジェクトが識別される前記追加のキャプチャ画像内の領域を示す、 前記追加のキャプチャ画像の残りの領域を識別するために、前記トラッキングマスクを前記オブジェクトの前記追加のキャプチャ画像と共に使用することと、 前記追加のキャプチャ画像の前記残りの領域におけるシーン変化を備えるトリガイベントを検出することと を備える、請求項1に記載の方法。
  15. 15
    動きセンサデータ、位置データ、バーコード認識、テキスト検出結果、またはコンテキスト情報のうちの少なくとも1つを備えるセンサデータを獲得することと、前記画像データとともに前記センサデータを前記サーバに送信することと、をさらに備える、請求項1に記載の方法。
  16. 16
    前記コンテキスト情報は、ユーザ挙動、ユーザ選好、ロケーション、ユーザについての情報、時刻、および照明品質のうちの1つまたは複数を含む、請求項 15 に記載の方法。
  17. 17
    前記画像データは、異なる位置にあるカメラを用いてキャプチャされた前記オブジェクトの複数の画像からのものであり、前記方法は、前記オブジェクトに対する前記カメラのポーズの粗な推定を決定することと、前記画像データとともに前記ポーズの前記粗な推定を送信することとをさらに備え、前記サーバから受信された前記情報は、前記ポーズのリファインメントおよび前記オブジェクトの三次元モデルのうちの少なくとも1つを備える、請求項1に記載の方法。
  18. 18
    前記画像データは、異なる位置にあるカメラを用いてキャプチャされた前記オブジェクトの複数の画像からのものであり、前記サーバから受信された前記情報は、前記カメラに対する前記オブジェクトのポーズをさらに備える、請求項1に記載の方法。
  19. 19
    モバイルプラットフォームであって、 画像データを獲得するように適合されたセンサと、ここで、前記センサは、カメラであり、前記画像データは、オブジェクトの少なくとも1つのキャプチャ画像からのものである、 無線トランシーバと、 前記センサと前記無線トランシーバとに結合されたプロセッサとを備え、前記プロセッサは、前記センサを介して前記画像データを獲得し、前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングし、以前に獲得された画像データと比べて前記画像データにおける変化を備えるトリガイベントが存在するか否かを判定し、ここにおいて、前記トリガイベントは、以前のキャプチャ画像に対して前記少なくとも1つのキャプチャ画像中に異なるオブジェクトが現れるシーン変化を備え、前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けている間に、前記トリガイベントが存在する場合、前記無線トランシーバを介して前記画像データを外部プロセッサに送信し、前記無線トランシーバを介して前記外部プロセッサから前記画像データに関連する情報を受信するように適合され、 ここにおいて、前記画像データに関連する前記情報は、前記オブジェクトの二次元(2D)モデル、前記オブジェクトの三次元(3D)モデル、前記オブジェクト上の点の三次元座標推定、拡張情報、前記オブジェクトについての顕著性情報、および、オブジェクトマッチングに関連する情報のうちの少なくとも1つを備 え、 前記プロセッサは、さらに、前記オブジェクトに対する前記モバイルプラットフォームのポーズを取得し、前記ポーズおよび前記画像データに関連する前記情報を用いて前記オブジェクトをトラッキングするように適合される、 モバイルプラットフォーム。
  20. 20
    前記プロセッサは、前記外部プロセッサから受信された前記オブジェクトの基準画像を用いて前記オブジェクトをトラッキングするようにさらに適合される、請求項 19 に記載のモバイルプラットフォーム。
  21. 21
    前記プロセッサは、前記画像データが前記外部プロセッサに送信される前に前記少なくとも1つのキャプチャ画像の品質を決定するようにさらに適合され、前記画像データは、前記少なくとも1つのキャプチャ画像の前記品質が閾値よりも良い場合にのみ、前記外部プロセッサに送信される、請求項 19 に記載のモバイルプラットフォーム。
  22. 22
    前記プロセッサは、前記少なくとも1つのキャプチャ画像の鮮明度の分析、前記少なくとも1つのキャプチャ画像内の検出されたコーナの数の分析、および前記少なくとも1つのキャプチャ画像から得られた統計値での学習分類子の処理のうちの少なくとも1つを実行するように適合されることによって、前記少なくとも1つのキャプチャ画像の前記品質を決定するように適合される、請求項 21 に記載のモバイルプラットフォーム。
  23. 23
    前記プロセッサは、さらに、前記無線トランシーバを介して受信された前記画像データに関連する前記情報に基づいて前記オブジェクトに対して拡張をレンダリングするように適合される、請求項 19 に記載のモバイルプラットフォーム。
  24. 24
    前記画像データに関連する前記情報は、前記オブジェクトの識別を備える、請求項 19 に記載のモバイルプラットフォーム。
  25. 25
    前記少なくとも1つのキャプチャ画像は、複数のオブジェクトを備え、前記画像データに関連する前記情報は、前記複数のオブジェクトの識別を備える、請求項 19 に記載のモバイルプラットフォーム。
  26. 26
    前記プロセッサは、さらに、前記モバイルプラットフォームに対する前記複数のオブジェクトの各々についてのポーズを取得し、前記ポーズおよび前記画像データに関連する前記情報を用いて前記複数のオブジェクトの各々をトラッキングするように適合される、請求項 25 に記載のモバイルプラットフォーム。
  27. 27
    前記画像データに関連する前記情報は、前記オブジェクトの基準画像を備え、前記プロセッサは、前記少なくとも1つのキャプチャ画像および前記基準画像に基づいて第1のポーズを前記外部プロセッサから受信するように適合される、請求項 19 に記載のモバイルプラットフォーム。
  28. 28
    前記プロセッサは、前記第1のポーズが前記外部プロセッサから受信されるまで、前記オブジェクトの基準フリートラッキングを実行するように適合されることによって、視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けるように構成される、請求項 27 に記載のモバイルプラットフォーム。
  29. 29
    前記プロセッサは、さらに、前記第1のポーズが前記外部プロセッサから受信されるとき、前記オブジェクトの第2のキャプチャ画像を獲得し、漸次的な変化を決定するために、前記少なくとも1つのキャプチャ画像と前記第2のキャプチャ画像との間で前記オブジェクトをトラッキングし、前記オブジェクトに対する前記モバイルプラットフォームの前記ポーズを取得するために前記漸次的な変化と前記第1のポーズとを使用するように適合される、請求項 27 に記載のモバイルプラットフォーム。
  30. 30
    前記プロセッサは、さらに、前記オブジェクトの第2のキャプチャ画像を獲得し、前記基準画像を用いて前記第2のキャプチャ画像内の前記オブジェクトを検出し、前記オブジェクトに対する前記モバイルプラットフォームの前記ポーズを取得するために前記基準画像および前記第2のキャプチャ画像において検出された前記オブジェクトを使用し、前記オブジェクトの基準ベースのトラッキングを初期化するために前記ポーズを使用するように適合される、請求項 27 に記載のモバイルプラットフォーム。
  31. 31
    前記プロセッサは、前記少なくとも1つのキャプチャ画像および前記以前のキャプチャ画像を用いて第1の変化メトリックを決定し、以前のトリガイベントからの第2の以前のキャプチャ画像と前記少なくとも1つのキャプチャ画像とを用いて第2の変化メトリックを決定し、前記少なくとも1つのキャプチャ画像についてのヒストグラム変化メトリックを生成し、前記シーン変化を判定するために、前記第1の変化メトリック、前記第2の変化メトリック、および前記ヒストグラム変化メトリックを使用するように適合されることによって、前記シーン変化が存在するか否かを判定するように適合される、請求項 19 に記載のモバイルプラットフォーム。
  32. 32
    前記画像データに関連する前記情報は、オブジェクト識別を備えており、前記プロセッサは、さらに、前記オブジェクトの追加のキャプチャ画像を獲得し、前記オブジェクト識別を用いて前記追加のキャプチャ画像内の前記オブジェクトを識別し、前記オブジェクト識別に基づいて前記追加のキャプチャ画像のためのトラッキングマスクを生成し、ここで、前記トラッキングマスクは、前記オブジェクトが識別される前記追加のキャプチャ画像内の領域を示しており、前記追加のキャプチャ画像の残りの領域を識別するために前記トラッキングマスクを前記オブジェクトの前記追加のキャプチャ画像と共に使用し、前記追加のキャプチャ画像の前記残りの領域におけるシーン変化を備えるトリガイベントを検出するように適合される、請求項 19 に記載のモバイルプラットフォーム。
  33. 33
    動きセンサデータ、位置データ、バーコード認識、テキスト検出結果、またはコンテキスト情報のうちの少なくとも1つを備えるセンサデータを獲得するように適合された少なくとも1つの追加のセンサをさらに備え、前記センサデータは、前記画像データとともに前記外部プロセッサに送信される、請求項 19 に記載のモバイルプラットフォーム。
  34. 34
    前記コンテキスト情報は、ユーザ挙動、ユーザ選好、ロケーション、ユーザについての情報、時刻、および照明品質のうちの1つまたは複数を含む、請求項 33 に記載のモバイルプラットフォーム。
  35. 35
    前記画像データは、異なる位置にある前記カメラを用いてキャプチャされた前記オブジェクトの複数の画像からのものであり、前記プロセッサは、前記オブジェクトに対する前記カメラのポーズの粗な推定を決定し、前記画像データとともに前記ポーズの前記粗な推定を送信するようにさらに構成され、前記外部プロセッサから受信される前記情報は、前記ポーズのリファインメントおよび前記オブジェクトの三次元モデルのうちの少なくとも1つをさらに備える、請求項 19 に記載のモバイルプラットフォーム。
  36. 36
    前記画像データは、異なる位置にあるカメラを用いてキャプチャされた前記オブジェクトの複数の画像からのものであり、前記外部プロセッサから受信された前記情報は、前記カメラに対する前記オブジェクトのポーズをさらに備える、請求項 19 に記載のモバイルプラットフォーム。
  37. 37
    モバイルプラットフォームであって、 画像データを獲得する手段と、ここで、画像データを獲得する前記手段は、カメラであり、前記画像データは、オブジェクトの少なくとも1つのキャプチャ画像からのものである、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングする手段と、 以前に獲得された画像データと比べて前記画像データにおける変化を備えるトリガイベントが存在するか否かを判定する手段と、ここにおいて、前記トリガイベントは、以前のキャプチャ画像に対して前記少なくとも1つのキャプチャ画像中に異なるオブジェクトが現れるシーン変化を備え、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けている間に、前記トリガイベントが存在する場合、前記画像データをサーバに送信する手段と、 前記画像データに関連する情報を前記サーバから受信する手段と、ここにおいて、前記画像データに関連する前記情報は、前記オブジェクトの二次元(2D)モデル、前記オブジェクトの三次元(3D)モデル、前記オブジェクト上の点の三次元座標推定、拡張情報、前記オブジェクトについての顕著性情報、および、オブジェクトマッチングに関連する情報のうちの少なくとも1つを備える、 を備えており、 前記オブジェクトに対する前記モバイルプラットフォームのポーズを取得する手段と、 前記ポーズ、および前記画像データに関連する前記情報を用いて、前記オブジェクトをトラッキングする手段と を さらに 備える、モバイルプラットフォーム。
  38. 38
    前記オブジェクトをトラッキングする前記手段は、前記サーバから受信された前記オブジェクトの基準画像をさらに用いる、請求項 37 に記載のモバイルプラットフォーム。
  39. 39
    プログラムコードを記憶した非一時的なコンピュータ読取可能な媒体であって、 画像データを獲得するためのプログラムコードと、ここで、前記画像データは、オブジェクトの少なくとも1つのキャプチャ画像からのものである、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングするためのプログラムコードと、 以前に獲得された画像データと比べて前記画像データにおける変化を備えるトリガイベントが存在するか否かを判定するためのプログラムコードと、ここにおいて、前記トリガイベントは、以前のキャプチャ画像に対して前記少なくとも1つのキャプチャ画像中に異なるオブジェクトが現れるシーン変化を備える、 前記オブジェクトの前記少なくとも1つのキャプチャ画像を用いる視覚ベースのトラッキングにより前記オブジェクトをトラッキングし続けている間に、前記トリガイベントが存在する場合、前記画像データを外部プロセッサに送信するためのプログラムコードと、 前記外部プロセッサから前記画像データに関連する情報を受信するためのプログラムコードと、ここにおいて、前記画像データに関連する前記情報は、前記オブジェクトの二次元(2D)モデル、前記オブジェクトの三次元(3D)モデル、前記オブジェクト上の点の三次元座標推定、拡張情報、前記オブジェクトについての顕著性情報、および、オブジェクトマッチングに関連する情報のうちの少なくとも1つを備える、 を備えており、 前記オブジェクトに対するモバイルプラットフォームのポーズを取得するためのプログラムコードと、 前記ポーズ、および前記画像データに関連する前記情報を用いて、前記オブジェクトをトラッキングするためのプログラムコードと を さらに 備える、非一時的なコンピュータ読取可能な媒体。
  40. 40
    前記オブジェクトをトラッキングするための前記プログラムコードは、さらに、前記外部プロセッサから受信された前記オブジェクトの基準画像を用いる、請求項 39 に記載の非一時的なコンピュータ読取可能な媒体。
Independent claims40