https://www.kinetix.tech/
近年、メタバース が流行ってますよね!
日本が生き残るためには、メタバース 関連に力を投資しろ!なんて言われていますが
確かに、日本のコンテンツ力は強いですよね。
そんなコンテンツ力を後押しするためにも、我々エンジニアは技術で裏ささえしなくては
いけないわけです!
ということで、ダンスのモーションを作成したい!!
メタバース 上で動かしまくりたい!!
VR でフルトラッキング すればいいわけですが、手は綺麗にトラッキング できますが
足となると、VRゴーグル とトラッカーではなかなか対処できないのが現状かと思います。
商用のまともなフルトラッキング 機材は100万円以上はするようですし、、、
でも、でも、
チキチキバンバンみたいな、モーションデータ作りたい!!
VIDEO www.youtube.com
オリジナルなやつがね!!
画像認識という選択肢
そこで、登場するのが動画からモーションデータを作るという選択肢です。
オープンソース の技術としては、Google なんかが力を入れていて
などなどオープンソース で利用できるライブラリなどがあったりします。
こんな感じで、動画中から人を思われる映像を推定し、そこに骨と思われるものを入れて姿勢推定を行います。
かなり研究が進んでいて、Webカメラ で撮影した動画をリアルタイムで分析し
推定可能なレベルまで来ているそうです。
ただ、ほとんどの場合、Python 言語でAIプログラミングしないといけないなど
ちょっとハードル高めです。デモのモデルががそのまま使える場合もありますが
超簡単に使えるKinetixというWebサービス を紹介
Kinetixとは話題の3Dモーション作成サービスで。
なんと、動画をアップロードするだけで、この姿勢推定からのモーション作成までやってくれる画期的なサービスです。
来たるメタバース 時代に向けて心強い味方となってくれそうな予感がありますね。
サイトトップにはMetaverseと文字があります
早速やってみましょう
プロジェクトの作成
ダッシュ ボードにログインするとこのような画面になっています。
サンプルの動画もいくつかあるようですが、ここでは真ん中の「create animation」から新しくアニメーションの作っていきます。
ここで目的のダンス動画をアップロードします。
ビデオのURLからも行けるようなので、Youtube の動画のURLを貼り付けるなどする方法でもいいのかもしれません
アップロード中
結構時間がかかります。ちなみにアップロードしたのは3分(40MB)ほどの動画です。
アップが完了するとトリム(必要な箇所だけ切り取る)作業に移ります。
全編行きたいところですが、、1分以内にしなさいとのエラーメッセージが出ました。1分以内に切り取ります。
OKならばNEXT STEPで進みます
名前をつけます
アニメーションの名前をつけたらConfirmで進みます
10分待つ
Confirmを押すとダッシュ ボードに戻り、進捗率25%であと10分でできるよと。
10分待ってみます
モーション完成!!
ついにモーションが出来ました!
ムキムキのおじさんが踊ってくれます。
どうやら精度はあまり高くなく、ところどころ動作がワープしたりして違和感がありますが、なかなかスムーズに動いてくれる!!
スゲー!!!!
こんな簡単にモーションが作れるなんて!!
キャラや背景を変えてみる
上のメニューのCharactorというところからキャラを変更できます
最初から入っている、女性のキャラや着ぐるみ
おじさんなど様々なキャラに変更可能です
メリット
ものすごく簡単!動画をアップロードするだけ
動くキャラク ターを変えられる、追加できる
無料!!こんなに凄いのに無料
それなりに忠実にモーションを作れる
こんなに簡単にできるとは思っていませんでした。
動画さえあれば、誰でもモーションが作れるのは凄いことです!
しかも、それが無料というのは素晴らしいです。
デメリット
編集画面がちょっと重い
分析に15分ほどかかる(大量の動画を一気にはやりにくい)
1 分以内の動画しか使えない
モーションの重心が高い
モーションのジャンプ表現が苦手
なめらかさは、フルトラッキング にかなり劣る
作ったモーションの活用が難しい
Webサービス ゆえに、多くのCPU時間を割けないためか大量の動画を変換したいなどの
要望があったり、1分以上のモーションを作りたい場合には
BlazePoseなどを活用して、プログラムを自作した方が良さそうです。
また、やはりモーションの精度にちょっと不満があります。
現行の画像処理での姿勢推定の限界なのか、屈む処理がちょいと苦手であること
ジャンプ表現が不自然、手足の滑らかさは、実写のダンスと比べると
全然追いついてないなという感じがします。
VIDEO www.youtube.com
こちらの動画のような、モーション表現に憧れてしまいますよね。。。
こちらの機材は、全身に32個のジャイロセンサー を搭載して、それを120fpsとかで記録できるものです。
東洋風の重心の低い動き、素早い手足の動きもなめらかに検出できていますよね。
ただ、機材のお値段は100万円ほどのようです。
動画像からこのレベルまでモーションを作るには、まだまだ技術的に遠そうな感じがしています。
あと蛇足ですが、ウマ娘 で有名なCygamesなんかは
1台100万円以上するようなモーションキャプチャー 用のカメラを大量に設置して
体に、追跡用マーカーがついた特製のスーツを着用して、精細なモーションを作り出したりしているようです。
VIDEO www.youtube.com
画像認識も機材を特化させると、動画像からの姿勢推定でもかなり精度が出るようですね
いいなぁ