デジタルツイン用3次元ビューア開発

デジタルツインを実現する3次元ビューア開発

生産設備などをVRやAR技術で可視化し、シミュレーションを行える環境を提供します。
3次元点群データからポリゴンデータを生成し、PCやタブレット上で表示可能なお客様専用のビューアを開発します。

利用例

  • 設備保全管理
  • 生産システムの開発や仮想試運転
  • 現場作業および製品開発の効率化
  • 研究開発用途
画像センサを用いた画像処理

画像センサを活用した画像処理

LiDARセンサ、深度センサ、深層学習を用いた画像解析
LiDAR搭載スキャナやスマートフォン(iPhone/iPad)、天球カメラ(THETA、INSTA360)、Matterportカメラなどで取得した3次元測量データを活用した画像処理を行います。

3次元点群

  • リアルタイムSLAM(自己位置推定 と環境地図の同時作成)
  • 点群データの3次元モデル化(点群位置を計算し、Unityで描画処理)
画像センサを用いた画像処理
深度画像、カラー画像、スケルトン画像などを取得できるセンサ(Azure Kinect など)を活用した画像処理を行います。

深度画像

  • 深度画像(RGB-D)からリアルタイムに人物の姿勢(骨格追跡)を検出・推定し、骨格および関節位置の座標を算出します。


カメラ画像の画像再構成処理(CV, GPGPU)

カメラ画像を活用した画像再構成処理(CV、GPGPU)

カメラ画像から対象物の形状を認識・復元・検出する。
  • ステレオカメラ(2視点画像)による3次元復元
  • 単眼移動カメラ(複数画像列に対する特徴点追跡)による3次元復元
  • 俯瞰画像の生成(魚眼カメラの歪み補正 → ピンホール変換 → 俯瞰変換)
機械学習向け CGデータ制作

機械学習向け CGデータ制作

高精度な学習用データを大量に自動生成する。
お客様の目的に応じた学習用データ(教師あり学習・教師なし学習)を作成し、画像処理エンジニアによる学習支援を行います。

異常検出アプリケーション例

  • 車両カメラによる車両・歩行者検出
  • 医用画像処理による病変の検出

導入事例

[モーションキャプチャ] Kinect によるリアルタイム 上肢動作計測システム

納入先: 大学・研究研究機関 様

Kinect™ for Windows®による上肢関節位置・角度のリアルタイム取得が可能です。
上半身(頭部・左右上肢)をリンク構造として当てはめ、各関節点の位置や角度を求めることが可能です。
  • Kinect™のチルト角をコントロール可能
  • 肩・肘の関節角度のテキストデータ出力/頭部
  • 肩・肘・手首の関節点位置のテキストデータ出力
  • 上肢動作のリアルタイムビジュアライズ(計測データの可視化)
  • 上肢動作のリアルタイムストリーミング(別のプログラムで上肢の動きを受け取ることができる)

[テレイグジスタンス] 全周囲 裸眼 立体映像装置 TWISTER

納入先: 慶應義塾大学 メディアデザイン研究科 舘研究室

REMOによる裸眼立体視表示

[シミュレーション] 核融合炉 の 組立シミュレーション

納入先: 自然科学研究機構 核融合科学研究所

SmartCollisoinによる組立シミュレーション
<検証データ>
オブジェクト数:138
頂点数:75,356
三角形数:150,176

[デザインレビュー] インタラクティブ 高精細映像 の 表示システム

納入先: 筑波大学

REMOによる高精細映像の表示

[シミュレーション] 胸腔鏡下 肺手術 の 術前シミュレーション

納入先: 東京女子医科大学 呼吸器外科

立体視を用いた術前シミュレーション

[シミュレーション] 電動 車いす シミュレータ

納入先: 東京大学 工学系研究科 小竹・二瓶研究室

車イスの走行シミュレータの計算結果を3次元データを用いて視覚評価するシステム

[シミュレーション] マルチスクリーン 立体視 表示 システム

納入先: 早稲田大学・本庄キャンパス

早稲田大学 本庄キャンパスの景観データをマルチプロジェクション システムで投影