[振り返り] AIでダンスモーションを作る
以前、Kinetixのサービスを利用してダンスモーションを作る記事を書いた。
その続きだ。
時間が経ってしまったが、現状の振り返りと新たな挑戦をシェアしよう。
Kinetixの現状：スペックの壁
残念ながら、まだ全然要求に達していなかったです
Kinetixのサービスは残念ながら期待を満たすには至らなかった(2022年当時)。高速なダンスモーションを求めると、解析FPSが不足している。ゆっくり動く太極拳のような動きには問題ないが、動作精度が必要な場合は難しい。そこで、ほかの方法を探し始めた。
カメラ方式のモーションキャプチャの検討期
動画からのモーション生成アプリ
iPhoneアプリで動画をアップロードするだけでモーションを生成するものがいくつか存在する。
AppStoreの無料で利用できるものはすべて試してみた。案外取れるものだなと思ったもののダンスには不向き。
MocapForAll：多視点分析
MocapForAll（有償版）はウェブカメラを複数台使って多視点で分析する方法だ。
しかし結果は思わしくなかった。カメラ1～3眼の組み合わせでやってみたが精度が不足し、キレのある動きを再現できない。どこかで見失って精度の低いモーションになってしまう。生身のキレッキレな動きはどうしても再現できない。得られたダンスモーションからは体幹の強さとか、足腰の強靱さが失われ、ふにゃふにゃで残念なモーションしかとれなかった。
[参考]Cygamesさんのスタジオの場合
cygamesさんのスタジオのような500fpsとか1000fpsとか出るようなスローモーション撮影できるレベルのカメラなら大丈夫だとは思うけれど。個人や小さな法人では手が出ない。
ウェアラブルセンサー方式のモーションキャプチャPerception Neuron Studioの購入
Perception Neuron Studio：最高の選択
ということで、悩んだ末に、ウェアラブル型の「Perception Neuron Studio」を購入。32個のジャイロセンサーを全身に装着し、120fps-240fpsで記録できる。
SONY Mocopiとの比較
同じ設計思想であるSONYのMocopiは6個のセンサーを使用し、コストは圧倒的に安いが、センサー数が少ない。
PVではいい感じに取れているように見えるが、Perception Neuron Studioのほうが精度に期待できそう
Mocopiは５万円くらい。Perception Neuron Studioは１２０万円くらい。
うーーーん。
Perception Neuron Studioはメルカリで中古が４０万円くらい。
えぃ！買っちゃえ！ぽちっ！
ということで、Perception Neuron Studioで作成したモーションキャプチャー動画がこちら。
結構いい感じでモーション取れてますよね！
キャラクターはデザイナーさんがVRMという形式で作ってくれていて、ダンスは師が踊ってくれています。
「VRM Live Viewer
https://booth.pm/ja/items/1783082」
というので動かした
Perception Neuron Studioの良かった点
- 精度高くダンスモーションを取得できる
- 速い動きも追従できる
- 専用のモーション記録ソフトもついている
- それなりに性能の良いノートPCなら、それで記録できる
Perception Neuron Studioのいまいちな点
- 地軸がドリフトして吹っ飛ぶことがある
- 使用時間に応じてセンターの位置がずれていく
- 体に付けるのが大変
- ダンスだと徐々に外れてくるのでかなりの力で止めないといけない
結論：現状での最良の選択
Perception Neuron Studio高いだけあってかなり良かった。
ただし、各センサーが地磁気を取得し現在位置を把握しているが、電子機器の影響で誤差が発生し、時間が経つと位置がずれていく。そのため、位置を修正する手間がかかる。長時間の使用も体への負担が大きく、激しい動きで外れるリスクがある。
最大３分くらいの撮影でもかなり座標がズレてくる。
なのでセンター位置に居続けるために、要所要所で位置を修正する必要があり、座標のモーションの修正に数時間を要する。フレーム単位で修正が必要。
また、撮影前には毎回、座標の初期化をする必要があり、これが地味に面倒。
そのほか、体中に止めるバンドはきつめにしないといけないため、かなり心身を圧迫するので長時間の利用は厳しいです。高圧トレーニングみたいな状態になります。
おそらくmocopiでも同じ問題が発生するのでしょう。ジャイロセンサーを用いる方式の弱点がわかってきました。
いろいろ言いましたが、かなりモーションは取れるので最初はテンションがあがりました！！
細かい話ですが重心が高いとか、しゃがみ系が苦手など、いくつかモーションに対する不満点もあったりしますが。概ね良い機器だと思います！
これ以上を求めるとなると１０００万円以上必要なのでしょうねぇ
安価に精度の高いモーションキャプチャができる時代が来ることを望みます！
作った、モーションキャプチャ動画はこちらで見れるので是非どうぞ！
https://www.youtube.com/playlist?list=PLlqyJ2qPHcBWJUJJwKY62vmrmghmwKJMG
