はりうすブログ (のすけのメモ)

湘南にある小さな会社 代表 ”のすけ”のブログです

激しい動きのダンスのモーションをKinetixで作るとどうなるのか?


https://www.kinetix.tech/

近年、メタバースが流行ってますよね!

日本が生き残るためには、メタバース関連に力を投資しろ!なんて言われていますが

確かに、日本のコンテンツ力は強いですよね。



そんなコンテンツ力を後押しするためにも、我々エンジニアは技術で裏ささえしなくては

いけないわけです!


ということで、ダンスのモーションを作成したい!!

メタバース上で動かしまくりたい!!


VRでフルトラッキングすればいいわけですが、手は綺麗にトラッキングできますが

足となると、VRゴーグルとトラッカーではなかなか対処できないのが現状かと思います。



商用のまともなフルトラッキング機材は100万円以上はするようですし、、、


でも、でも、

チキチキバンバンみたいな、モーションデータ作りたい!!



www.youtube.com


オリジナルなやつがね!!

画像認識という選択肢

そこで、登場するのが動画からモーションデータを作るという選択肢です。

オープンソースの技術としては、Googleなんかが力を入れていて

  • OpenPoze
  • BlazePose

などなどオープンソースで利用できるライブラリなどがあったりします。



こんな感じで、動画中から人を思われる映像を推定し、そこに骨と思われるものを入れて姿勢推定を行います。

かなり研究が進んでいて、Webカメラで撮影した動画をリアルタイムで分析し

推定可能なレベルまで来ているそうです。


ただ、ほとんどの場合、Python言語でAIプログラミングしないといけないなど

ちょっとハードル高めです。デモのモデルががそのまま使える場合もありますが

超簡単に使えるKinetixというWebサービスを紹介

Kinetixとは話題の3Dモーション作成サービスで。

なんと、動画をアップロードするだけで、この姿勢推定からのモーション作成までやってくれる画期的なサービスです。



来たるメタバース時代に向けて心強い味方となってくれそうな予感がありますね。

サイトトップにはMetaverseと文字があります


早速やってみましょう


アカウント作成

https://www.kinetix.tech/
サイトトップから右上の(Login)ログインから進みます。


メールアドレスとパスワード設定して進みます.

プロジェクトの作成


ダッシュボードにログインするとこのような画面になっています。

サンプルの動画もいくつかあるようですが、ここでは真ん中の「create animation」から新しくアニメーションの作っていきます。

ここで目的のダンス動画をアップロードします。

ビデオのURLからも行けるようなので、Youtubeの動画のURLを貼り付けるなどする方法でもいいのかもしれません

アップロード中

結構時間がかかります。ちなみにアップロードしたのは3分(40MB)ほどの動画です。

アップが完了するとトリム(必要な箇所だけ切り取る)作業に移ります。

全編行きたいところですが、、1分以内にしなさいとのエラーメッセージが出ました。1分以内に切り取ります。


OKならばNEXT STEPで進みます

名前をつけます

アニメーションの名前をつけたらConfirmで進みます

10分待つ

Confirmを押すとダッシュボードに戻り、進捗率25%であと10分でできるよと。

10分待ってみます

モーション完成!!

ついにモーションが出来ました!

ムキムキのおじさんが踊ってくれます。

どうやら精度はあまり高くなく、ところどころ動作がワープしたりして違和感がありますが、なかなかスムーズに動いてくれる!!

スゲー!!!!

こんな簡単にモーションが作れるなんて!!


キャラや背景を変えてみる


上のメニューのCharactorというところからキャラを変更できます

最初から入っている、女性のキャラや着ぐるみ

おじさんなど様々なキャラに変更可能です

メリット

  • ものすごく簡単!動画をアップロードするだけ
  • 動くキャラクターを変えられる、追加できる
  • 無料!!こんなに凄いのに無料
  • それなりに忠実にモーションを作れる

こんなに簡単にできるとは思っていませんでした。

動画さえあれば、誰でもモーションが作れるのは凄いことです!

しかも、それが無料というのは素晴らしいです。

デメリット

  • 編集画面がちょっと重い
  • 分析に15分ほどかかる(大量の動画を一気にはやりにくい)
  • 1 分以内の動画しか使えない
  • モーションの重心が高い
  • モーションのジャンプ表現が苦手
  • なめらかさは、フルトラッキングにかなり劣る
  • 作ったモーションの活用が難しい

Webサービスゆえに、多くのCPU時間を割けないためか大量の動画を変換したいなどの
要望があったり、1分以上のモーションを作りたい場合には


BlazePoseなどを活用して、プログラムを自作した方が良さそうです。


また、やはりモーションの精度にちょっと不満があります。


現行の画像処理での姿勢推定の限界なのか、屈む処理がちょいと苦手であること

ジャンプ表現が不自然、手足の滑らかさは、実写のダンスと比べると
全然追いついてないなという感じがします。



www.youtube.com

こちらの動画のような、モーション表現に憧れてしまいますよね。。。

こちらの機材は、全身に32個のジャイロセンサーを搭載して、それを120fpsとかで記録できるものです。

東洋風の重心の低い動き、素早い手足の動きもなめらかに検出できていますよね。


ただ、機材のお値段は100万円ほどのようです。

動画像からこのレベルまでモーションを作るには、まだまだ技術的に遠そうな感じがしています。

もっと凄い姿勢推定方式のモーションキャプチャー

あと蛇足ですが、ウマ娘で有名なCygamesなんかは

1台100万円以上するようなモーションキャプチャー用のカメラを大量に設置して

体に、追跡用マーカーがついた特製のスーツを着用して、精細なモーションを作り出したりしているようです。


www.youtube.com

画像認識も機材を特化させると、動画像からの姿勢推定でもかなり精度が出るようですね


いいなぁ