Kinect(キネクト)でMMDでニコ生 導入と使い方

Microsoft提供の公式ドライバが配布開始されました。
http://vad.seesaa.net/article/212617341.html

以下の内容は古いままです

Xbox360の周辺機器Kinect(キネクト)をモーションキャプチャ機器としてWindowsパソコンで使用する、使い方の覚え書き 。いわゆる自分に合わせてミクさんがリアルタイムで動きます。
この手の話は展開が速いため、今後手順が変わるかもしれませんが軽く紹介します。

Kinectの準備
OpenNI, Kinectドライバ等のインストール
Kinectの動作確認
MMD(MikuMikuDance)の準備
MMDでKinect(キネクト)
もっとMMD+Kinectを楽しむ
Kinect(キネクト)のオーディオ
Kinect(キネクト)を普通のWebカメラ代わりに使う

Kinectの準備

Kinect(キネクト)を準備します。Xbox360セットのKinectにはパソコンとKinectとの接続に必要な『Kinect：USB/電源ケーブル』が付属しません。Xbox360セット販売されているものではなく、Kinect単品販売のものを用意します（単体でもKinectアドベンチャーソフト付属します）。 Xbox360セットのKinect場合は「Kinect：USB/電源ケーブル」：3830 円（消費税、送料、手数料込み） ＜Xbox カスタマーサポート＞ 0120-220-340 ( 携帯電話などからは 03-5767-4551) 受付時間 10:00 〜 18:00 ( 日、祝日を除く)

Kinectに付属の『Kinect：USB/電源ケーブル』は二股式で、片方がACアダプタになっていますので、電源コンセントに接続します。 『Kinect：USB/電源ケーブル』を使用してパソコンのUSB端子に、Kinectを接続します。

接続直後の、ドライバインストール前の状態。 ！表示で、このままだと使用できません

OpenNI, Kinectドライバ等のインストール

OpenKinectドライバ、PrimeSenseドライバ、等キネクト対応ドライバは複数確認されていますが、今回はMMDでOpenNIで利用できるPrimeSenseドライバを使用します。

1) OpenNI for win32 OpenNI  2) avin2-SensorKinect SensorKinect 3) PrimeSense NITE NITE

この3つをインストールします。 Win32と表示されていますが、Win7,  64Bitでも動作します。32とあるのはソフト部分が32Bitなので64BitOSでも動作します。ドライバ部分は32Bit, 64Bitの両方のドライバが同梱されています。
1)OpenNIをイントールします。 OPENNI-Win32-xxx.exeを実行するとOpenNIのインストールと、ドライバのインストール確認画面が出ます。(ドライバのインストールは2)でも行なわれます。インストールを選んだのにデバイスマネージャーで確認してみたらドライバがインストールされていない場合もそのまま2)へ進みます。)。

2)SensorKinectをインストールします。avin2-SensorKinect のzipファイルを解凍（展開）した中身の、Binフォルダにインストール用のSensorKinect-Win32-xxx.exeファイルが入っています。 exeファイルを実行すると、SensorKinectとPrimeSenseドライバのインストールが完了します。現段階で 1)のドライバ周りがいまいちなため、2)をインストールしてドライバを使用しています。

3)NITEインストールします。インストール時にシリアルを求められますので、
http://www.openni.org/downloadfiles
に記載されているシリアルを入力します。 ブログ書いてる時点では下記のシリアルでした（随時公式ページでご確認ください）。0KOIk2JeIBYClPWVnMoRKn5cdY4=

動作イメージ図 画像は第三様のDxOpenNI を改変してみた(sm13183486)動画より。わかりやすい図解だったので参考にさせてもらっています。

ドライバのインストール後の状態 【Kinect Camera】 【Kinect Motor】 が認識されます。 【Xbox NUI Audio】はドライバは有るもの、実用的なものはまだのようなので、Audioのドライバーがインストールされていなくても放置でOKです（オーディオについて詳しくはページ下の方を参照）。

通常は2)のインストールでドライバがインストールされますが、ドライバインストール確認画面でキャンセルを押してしまった等で、もし、2)をインストールしてもPrimeSensorドライバがインストールされていない場合は、1)〜3)のインストール後に 64BitOSの場合、Program Files (x86)\Prime Sense\Sensor\Driverフォルダに有る、【dpinst-amd64.exe】を実行しドライバをインストールします。 32BitOSの場合、Program Files \Prime Sense\Sensor\Driverフォルダに有る、【dpinst-x86.exe】をインストールします。

参考サイト http://chicklab.blog84.fc2.com/blog-entry-26.html

Kinectの動作確認

Kinectの動作確認のためにOpenNIのサンプル（NiUserTracker）を動かしてみます。

【スタートメニュー】→【OpenNI】→【Samples Directory】→

→【Bin】→【Release】→【NiUserTracker.exe】を実行します。

MMDで使用する前に、動作確認をします。 全身がおさまる様にKinectの置く位置の調節や、 立ち位置の確認などを行います。

Looking for pose Calibrating Tracking 等の状態が表示されます。 Tracking状態が表示されるように、Kinectの位置や自分の立ち位置を調整して、利用感覚をつかみます。 Looking for pose時に└(＾o＾)┘ ←これをして、Calibratingになったら、そのまま待ち、Tracking表示になったら、動いてOKです。 この表示ができれば、ここまでの作業はおおよそ完了で、あとはMMDの設定になります。

MMD(MikuMikuDance)の準備

MMD公式ページから
http://www.geocities.jp/higuchuu4/
1.3 MikuMikuDance（DirectX9 Ver）
MikuMikuDance(DirectX9 Ver) （Ver.7.25 約5MB Kinect対応機能追加、他)
1.4 DxOpenNI.dll DxOpenNI （Ver.1.10 約20KB)
をダウンロードします。
DxOpenNi.zipを解凍(展開)して、中身をMikuMikuDanceのDataフォルダに置きます。

MMDでKinect(キネクト)

MikuMikuDanceを起動します。

 

白背景のままだと寂しいので、ステージを読み込みます。 VPVP wiki ステージ、舞台 http://www6.atwiki.jp/vpvpwiki/pages/156.html 等からダウンロードできます。 あるいは上メニューの【背景】→【背景画像ファイル読み込み】で普段の放送に利用している画像などを背景に表示して使用できます。

 

モデルデータを読み込みます。 デフォルトでUserFile\Model MMDフォルダに、付属のモデルデータが入っています。 VPVP wiki モデルデータ http://www6.atwiki.jp/vpvpwiki/pages/65.html 等からもダウンロードできます。

 

ボーンが表示されていて邪魔な場合は、画面下のボーン操作の【選択】を解除します(【Cキー】でも切り替え可能)。 座標軸の表示が邪魔な場合は【表示】→【座標軸の表示】のチェックを外します。 【物理演算】→【常に演算】にチェックを入れておくと、髪の毛が動きまくりで楽しいですが、スカートが大変なことになっちゃったりします＞＜ 物理演算するかは好みで。

MMDの【モーションキャプチャ】→【Kinect】にチェックを付けます。

右上に自分の影が表示されたら、└(＾o＾)┘の状態でしばらく待っていると、モデルが└(＾o＾)┘のポーズになります。└(＾o＾)┘になったら、後は動いてOKみたいです。 └(＾o＾)┘荒ぶるKinectのポーズ ！



MMDの画面を、SCFH_DSFや、NDC、NVS等の放送用の画面キャプチャソフトを使用して、生放送に使えます。 MMDの【表示】→【別窓】で表示ウィンドウを分離した方が使いやすいかもしれません。

└(＾o＾)┘をしているのに、モデルが動かない場合は、下画面の【モデル操作】の下の選択欄にモデルが選択されているか、ご確認ください。

モデルが浮いてしまう場合や、下半身が破たんする場合は、Kinectの設置位置を工夫して足元もセンサーの範囲に入るようにした方が良いです。
広くて物が無い片付いた部屋の場合には、認識が捗り（はかどり）ます。
狭くて、センサーが近くて、障害物が多い場合は認識がスムーズにいかない場合がある様です。

「MMD画面利用だと生放送用には使いづらいかも。今後の展開待ち中。もちろんMMDは使いやすいし便利なんだけど、生放送で遊びでアバターとして動かす用途には画面や操作関連が用途に合ってない気が。でもMMDだから、色々できるんだよね。」

「低スぺPCの場合は、FME放送等の負荷も重なるときついかも。うちのパソコンさんAtomの低スぺなんですよ。でもMMD+KinectとFME放送くらいなら何とかそれなりに動きました。この手の3Dモデルが動くソフトの中では軽い方なんじゃないかなと思います。」

-enamel toy box-様 http://enamelhp.web.fc2.com/ MMDで使えるPMDデータがダウンロードできます。 （ページの下の方にあります。上の方のは形式が違うので注意。） 頭身小さ目のねんどろ風モデルや、はちゅねミク、ののワさん等。

MikuMikuDance関連のページ様 http://homepage3.nifty.com/knuko/mmd/mmdIndex.html 東方系のモデルがダウンローでできます。 zip同梱の readmeはちゃんと読みましょう。 原作者様、当モデルの元原画作者様および、その他の関係者(MMDで楽しまれている方など)に迷惑をかける使用法は絶対に避けてください

【3D部】TETA作3Dモデル関係置き場様 http://teta3.web.fc2.com/ 戦国BASARA と 探偵 ！

SaYaKa Project様 http://www003.upp.so-net.ne.jp/kakomiki/page/3ddata.html けいおん！他いろいろ有ります。

ニコニコ動画内にも色々有ります。   MMDモデル配布あり  /  MMDステージ配布あり

もっとMMD+Kinectを楽しむ

一人称視点でMMDの世界に	MMD+Kinectで楽しめるデータ配布されています。 詳しくは動画を参照。

2人同時モーションキャプチャー	羽ばたくモーションでMMD世界を飛ぶ MMD世界体験セット

Kinect(キネクト)のオーディオ

Kinect(キネクト)のオーディオ部分（マイク）が放送用に『VAM』『アマミキ！』等で使えるかな？と思ったのですが、そういう用途に合うドライバの提供は確認していません。
デバイスマネージャーに【Xbox NUI Audio】は認識され、ドライバも複数有りますが動作確認したドライバでは、【録音デバイス】にマイクが表示されるようなものは今のところ無いみたいです。

確認してみたもの。 libusb-win32 devicesの Xbox NUI Audio

CL Devicesの NUI Audio

ヒューマンインターフェイス デバイスの Xbox NUI Audio

「オーディオが気になってキネクト買っちゃったんだけど、まだ思った用途には使えそうにないっていう。」

Kinect(キネクト)を普通のWebカメラ代わりに使う

現段階で確認しているドライバの動作では、KinectをWebカメラ同様に使用できるものは確認していませんが、Kinect専用ソフトで映像を表示して、Webカメラの様に使用することはできます。
ニコ生でKinectのWebカメラ映像を使用したい場合は、SCFH_DSF、NDC、NVS等でデスクトップ上のKinect映像を取り込んで配信に使用します。

とりあえず、今回使っているOpenNI のサンプルのNiViewerでWebカメラ映像が表示できます。

2画面表示のままだと、使いづらいので、右クリック【View】→【Presets】→【Image Only】にします。 左右逆が気になる場合は【Device】→【Mirror】も 設定します。 もし、NiViewerの画面が表示されない場合（真白な画面が表示される・映像が映らない）は、OpenGL描画関連の問題らしいです。最新のグラフィックボードのドライバをインストールします(NVIDIA等)。 グラボのドライバのインストールを忘れてるケースで映らないことがあるようです。

NiViewerの場合は全画面表示になります。このままだと使い勝手が悪いので、『すごいたぶちさん』あたりの全画面表示のものをウィンドウ化してくれるソフトを併用するのが便利です。 この画面を配信用デスクトップキャプチャーソフト等で取り込んで使うと、Kinectを配信用のWebカメラに利用できます。

他の使い勝手の良いキネクトViewerを探し中です。

Amazonで一時品薄中になっていたKinect 家電量販店のゲーム売り場にも有ります。 XBOXセットの方のKinectはUSB変換ケーブルが付属しませんので、Kinect単品販売のものを！ バーチャロンフォースが、12/22発売です！