Skip to content

t-inamura/EmbodiedBrain

Repository files navigation

EmbodiedBrain project

Applications for Embodied-Brain System project based on the SIGVerse ver.2 主にここで管理されているのは2016年までに開発されたアプリケーションです.SIGVerse ver.3 で開発されているアプリケーションは別レポジトリを参照して下さい

MirrorTherapy_v1

次のような機能,あるいは特徴があります.

  • KinectV2で計測した動作をコントローラへ送信し,SIGViewer上のman-niiを操作します.
  • KinectV2で計測した左腕の動作を,man-niiの左腕と右腕に伝えることができます(実世界で左腕を動かすと,man-niiは両腕が動きます).
  • その逆も行うことができます.
  • KinectV2プラグインは,KinectV2で計測できる関節位置に基づいてSIGVerseのman-nii用のクォータニオンを算出し,コントローラへ送信します.
  • コントローラでは,動作の反転やお盆を持ち上げるなどの機能が実装されています(動作速度は要改善).
  • 動作の反転のモードやお盆を持ち上げるなどのモードを変更したい場合は,コントローラプログラムのソースコードを書き換えてコンパイルし直す必要があります.

MirrorTherapy_v2

次のような機能,あるいは特徴があります.

  • KinectV2やOculusで計測した動作をコントローラへ送信し,SIGViewer上のman-niiを操作します.
  • KinectV2で計測した左腕の動作を,man-niiの左腕と右腕に伝えることができます(実世界で左腕を動かすと,man-niiは両腕が動きます).
  • その逆も行うことができます.
  • この機能はv1のものと同様です.
  • KinectV2で計測した動作を指定の時刻[ms]だけ遅延させてman-niiへ伝えることができます.
  • コントローラでは,動作の反転モードと動作の遅延時間を,SIGViewerからメッセージを送ることで実行中に変更できます.
  • v1で実装されている「物を持ち上げる」機能は実装していません.
  • 実装に,実世界での計測情報を扱うSensorDataクラス,計測機器を扱うDeviceクラス,SIGViewer上のアバターの姿勢を扱うPostureクラスを使用しています.
  • KinectV2とOculusRiftDK1のサービスプロバイダを実装しています.
  • Pluginでは,KinectV2で計測できるクォータニオン(あるいはOculusで計測できる首のオイラー角)をコントローラへ送信します.
  • コントローラ側で,SIGVerseのman-nii用のクォータニオンへ変換します.

About

Applications for Embodied-Brain System project based on the SIGVerse ver.2

Resources

Stars

Watchers

Forks

Packages

No packages published

Languages