ラベル VTuber の投稿を表示しています。 すべての投稿を表示
ラベル VTuber の投稿を表示しています。 すべての投稿を表示

2020年4月29日水曜日

Zoomにキャラクターで参加する

 在宅ワークやバーチャル飲み会、読書会などなど、Zoomでミーティングをする機会も増えました。
 そこで、せっかく作ったキャラクターがZoomでも使えないか、試してみました。

  今回は、Live2D+FaceRig ではなく、キャラクターアニメーター(Adobe Character Animator)を使います。 今回説明するのは、Windows での方法になります。

 ■準備

  キャラクターアニメーター(Adobe Character Animator)と、Zoom がインストールされていて、正常に使える状態であることを前提にしています。

  キャラクターアニメーターで使うキャラクター(パペットと呼ばれています)を用意しておきます。

  今回は、自作のキャラクターを使いますが、最初からキャラクターアニメーターに準備されているキャラクターでもいいと思います。
  背景も、好きなものを準備して下さい。

 ■NDIツールの入手


 今回は、キャラクターアニメーターからの信号をライブでzoomに出すという方法を使います。  まず、NDIツールを手に入れます。

 NDI(ネットワーク・デバイス・インターフェイス)というのは、NewTek社によって開発された、ビデオを簡単にストリーム配信できるようにする規格だと思って下さい。

 NDIツールは、こちら(https://ndi.tv/tools/)で手に入ります。無料です。

  ページの下の方まで行くと、ダウンロードできるパネルがあります。


 ここから、Windows版のNDIツールを、ダウンロードして、インストールします。

 ■キャラクターアニメーターの設定



 キャラクターアニメーターから、ライブ出力でzoomにデータを出すので、まずは、キャラクターアニメーターから、NDIに出力するように設定を変更します。

 キャラクターアニメーターを開きます。

 上部メニューの[編集]から、[環境設定]を選びます。


 環境設定パネルが開くので、ライブ出力を選びます。

 

「Mercury Transmit を有効にする」にチェックを入れます。
 下の「ビデオデバイス」から「NDI output」を選び、[OK]をクリックします。

 これでキャラクターアニメーターからNDI出力されるようになりました。

■PCのNDI仮想入力をオンにする


 パソコンの左下にある検索窓に、「virtual」もしくは「virtual input」と入力します。①


「virtual input」をクリックします。②

 パソコンの左下、タスクバーに「NDI Virtual Input」というアイコンができます。


「NDI Virtual Input」アイコンを右クリックすると、使用可能なパソコンが表示されますので、キャラクターアニメーター(Adobe Character Animator)を使っているパソコン選び、「Adobe Character Animator」を選択します。





 これで、 パソコンのNDI仮想入力がオンになりました。

■Zoomで確認する 


 Zoomを起動します。

 確認のために、ミーティングを開始します。

 下のメニュー[ビデオの開始]の右の ^ から、入力を切り替えます。
 「NewTek NDI Video」を選びます。



「ビデオの開始」でビデオを出せば、キャラクターアニメーターで使っていたキャラクターがZoomに出力されます。
 しゃべってみると、動きもキャラクターアニメーターのときのままです。

 これで、 Zoomに好きなキャラクターで参加することができました。


 ◎キャラクターアニメーターを終了させて、下のメニュー[ビデオの開始]の右の ^ から、入力するカメラを切り替えて、Webカメラにもどせば、また自分の顔が映ります。




2020年3月5日木曜日

キャラクターアニメーターを試してみました Live2Dと比較

■アドビ キャラクターアニメータ-(Adobe Character Animator)を試してみました





 今回は、アドビ キャラクターアニメータ-(Adobe Character Animator)を使って、リップシンクなど表情変化するアニメを作ってみました。
 Live2D+FaceRigと同様に、リアルタイムで音声と動きのついたアニメを作ることができますので、使いこなせれば、VTuber(Vチューバー)デビューも夢ではありません。

 キャラクター作成には、クリップスタジオペイント(CLIP STUDIO PAINT、クリスタ)を使用、フォトショップ形式(PSD)で保存して、キャラクターアニメータ-に読み込み、必要に応じて補正し、ハンドル、ボーンを少し設定して、動かしてみました。

 音声が聞き取りにくいのは簡単なヘッドセットを使用しているためですので、ご容赦下さい。カメラの認識は、 問題ないと思います。


■初めて使用してみて、アドビ キャラクターアニメータ-とLive2Dとの比較

 以前、Live2Dを使用してみた時の使い勝手と比較してみます。
 初心者にとっての使い勝手になりますので、使い慣れている方だと、もっと別の感想になるかもしれません。

 ●導入


 Live2Dのときは、それだけではライブで動かせなかったため、FaceRigにデータを送って動かすため、データの作成などに、やや難しい点がありました。
 しかし、キャラクターアニメータ-は、パペット(モデル)を作成して、そのままシーンに読み込み、パフォーマンスを録画するだけ。

 自分でメッシュを割り付けたりしなくてよく、やりとりするためにデータを複数作成したり、まとめたりする必要がない分、簡単でした。

●キャラクターの作成


 キャラクターは、基本的に、以前作成したLive2Dのときのモデルを手直しして使いました。一番問題になったのは、目と口でした。
 キャラクターアニメーターは、単純な顔のキャラクターのモデルが多かったため、 どうすればいいのかがなかなかわからなくて、試行錯誤しました。


 いくつも、追加で作成しなくてはならない部分がありました。まず、まばたき(Blink)が別になっていたので別に作る必要がありました。口の形も、いくつも自分で作らなくてはなりませんでした。

 特に、口の形は、ニュートラル、M、S、D、Ee、Aa、Uh、Oh、R、W-Oo、F、Lという、日本語だとなじみのない口の形を自分で作成しないといけないため、かなり苦労しました。
 さらに、スマイルと驚きの表情も、自分で設定しなくてはいけませんでした。

 ここは、カメラからの表情の読み取りで対応してくれるLive2Dの方が、ずっと簡単です。


●動き


 問題の、動きです。

 Live2Dよりも、目の動きなどが大雑把です。
 おそらく、もっと手間をかければ、もっと細かい動きも作れるだろうとは思いますが、基本的に、キャラクターアニメーターは、ライブで動かすことに特化し、大まかに動かすためのもの、と考えた方が良さそうです。

 また、ボーンは入れたものの、可動域設定などがなくて腕などの動きが不自然になったり、腕を長く伸ばせてしまったりと、不自然な点があれこれ出てしまいました。

●キャラクターの特別な動きなど


 シーンの中に何人ものキャラクターを入れたり、位置を変えたりといったことは、Live2D+FaceRigでも、キャラクターアニメーターでも同じようにできます。

 また、キーを割り当てて特別な動き(顔を青ざめさせる、目をハート型にするなど)をさせることも、どちらでもできます。

●費用


 今回の、キャラクターアニメーターは、adobeの有料ソフトです。
 アドビ クリエイティブクラウド(Creative Cloud)コンプリートプランで使うことができます。クリエイティブクラウドは、サブスクリプション制となっており、年間プラン月々払いで5680円(税別)ほどかかります。
  さらに安く使うには、学生・教職員向けのプランがあり、月々1980円(税別)から。

 Live2D+FaceRigに比べて、お金がかかりますが、イラストレーターやフォトショップといったアドビのソフトを使っているなら、安く使えると思います。 

 キャラクターアニメーターだけで、そのまま配信もできるし、パフォーマンスを何度もやり直して、上手にできた部分だけを編集するといった機能もあります。

■まとめ


 今回は、アドビ キャラクターアニメーター(Adobe Character Animator)を、試してみました。
 キャラクターアニメーターは、リアルタイムでキャラクターに動きをつけたり、配信したりする時に、使い勝手の良いソフトです。

 キャラクターアニメーターと、 Live2D+FaceRigでは、データの作成や、データの移動に、それぞれ一長一短があります。
 比較的大まかな動きを簡単につけたければ、キャラクターアニメーター、細やかな動きにこだわりたければ、Live2D+FaceRigの方が、より複雑なキャラクターの動きを作ることができそうです。

 Live2D+FaceRig でも、キャラクターアニメーターでも、自分のスタイルに合った方を使いこなせれば、VTuber(Vチューバー)も夢ではないと思います。



2019年3月14日木曜日

Live2Dで作成したキャラクターのデータをFaceRigに組み込む方法

 今回は、Live2D+FaceRigでリップシンクなど表情変化するアニメを作ってみることにしました。
 リアルタイムで音声と動きのついたアニメを作ることができますので、完成すれば、VTuber(Vチューバー)デビューも夢ではありません。

■Live2Dとは


 Live2Dというのは、だいたい、絵をパーツに分けて、動きをつけることができるソフトだと思って下さい。
 Live2Dは、公式の説明が詳しくてわかりやすいので、説明はそちらを見ていただくのが一番かと思います。
Live2D公式 https://www.live2d.com/ja/

 パーツごとに分けた絵を作成し、PSD形式で保存して読み込み、動きをつけていきます。
 絵を描くのには、私は、クリスタ(CLIP STUDIO PAINT)を使用していますが、レイヤー分けができてPSD形式で保存できるお絵かきソフトであれば、何を使ってもかまいません。

■FaceRigとは


 FaceRigというのは、主に3Dのキャラクターを、簡単にリップシンクなどをして動かすことができるソフトです。さらに、FaceRig Live2D Module というものを追加すると、2Dのキャラクターも動かすことができるようになります。

  FaceRigは、海外のソフトのため、若干ハードルはありますが、Steamに登録して、ダウンロードし、インストールするだけです。説明動画やスクリーンショットもありますので、およそどんなことができるのかわかると思います。


FaceRigの入手はこちら。 SteamのFaceRigのページです。

 通常価格:FaceRig 1480円 + FaceRig Live2D Module 398円 必要です。
 セールも時々あるそうです。

■前段階


  お絵かきソフトと、 Live2DとFaceRigがインストールでき、正常に使えているのが大前提です。

 さらに、Live2Dのデータもできている状態での話になります。
 少女や少年、デフォルメキャラクターであれば、公式ページなどを参考に、パーツ分けして作成し、テンプレートに合わせ、必要に応じて修正を加える方法が、一番簡単かと思います。

 今回は、ここまではできている前提で、Live2DからFaceRigへのデータの受け渡しについての話になります。

■用意するデータ


 Live2Dで作成したキャラクターのデータをFaceRigに組み込む方法です。


 今回、やってみて何度か失敗をしたので、 2019年3月時点での更新情報として備忘録的に書いておくことにしました。

 Live2Dは、Cubism 3を使用しています。
 最新のCubism 3.3です。

現時点では、FaceRig側が最新のCubism 3.3にきちんと対応していないので、 Cubism 3.3であっても、 Cubism 2.1用のmocファイルにする必要があります。

■テクスチャアトラスの作成


  Cubism 2.1用のmocファイルを書き出すためには、まず、テクスチャアトラスを作成します。


 上部メニューの [モデリング]→[テクスチャ]→[テクスチャアトラス編集]をクリックします。
 または、

 赤矢印のボタン[テクスチャアトラス編集]をクリックします。




[新規テクスチャアトラス設定]ウィンドウが開きますので、Cubism 3のFree版の最大値である幅2048px、高さ2048px以下に設定して、OKを押します。

 ■mocファイルの書き出し




 次に、上部メニューから、[ファイル]→[組み込み用ファイル書き出し]→[mocファイル書き出し(2.1用)]を選択します。





[書き出し設定]ウィンドウで、「モデル設定ファイル(model.json)を書き出す」にもチェックを入れて、一緒に書き出します。
[OK]をクリックすると、

[キャラクター名].2048 というフォルダに入ったテクスチャアトラス、moc形式のファイル、モデル設定ファイル(model.json)の3つが一気に書き出されます。


 ■物理演算ファイル


  データ作成で注意すべき点は、最新のCubism 3.3では、物理演算設定が、Cubism Editor からになっている点です。


  上部メニューから、[モデリング]→[物理演算・シーンブレンド設定を開く]をクリックします。

 そして、物理演算設定を終えたら、メニューから、[物理演算]→[物理演算設定の書き出し]をクリックすると、物理演算設定ファイル(physics.json3)が書き出されるのですが、これはFaceRigでは対応がありません。physics.json のファイルが必要です。




 このため、古いバージョンであるLive2d Cubism2の Live2d viewer が必要です。

 Live2d viewerをインストールする前に、さらに、Adobe AIR もインストールしておく必要があります。

 どちらも、Live2DCubism2 の公式マニュアルサイトであるこちらから入手できます。




 紫の枠の方のViewer が、physics.json を書き出せるタイプです。


 [プロジェクト]→[追加]→[物理演算]で、physics.jsonというファイルができます。



 物理演算機能の使い方は、公式のマニュアルを参照して下さい。
 できあがったら、[プロジェクト]→[書き出し]→[物理演算]で書き出します。

 

 この書き出しをすると、

 mocファイルの表示が少し変わります。


  詳しい違いはわかりませんが、どちらのmocファイルでもFaceRigでは、同じように表示されました。


■アイコン


 アイコン用の画像ファイルを作ります。
 縦256pix横256pixの正方形の、アイコン用の画像を作り、png形式で保存します。
 名前は、

ico_キャラクター名.png

 にしておきます。

■cfgファイル


 FaceRigでの設定に使う、configファイルです。
 最低限、「ここにあるデータはFaceRigのLive2Dのアバターで、名前は●●と言います」
 というのをFaceRig側に知らせるものです。
 さらに細かい設定も、いろいろできるのですが、絶対に必要なのは、

cc_names_キャラクター名.cfgという名前のファイルの中に、

set_friendly_name キャラクター名 'Live2D キャラクター名'

この一行だけです。
 あとは、

 set_avatar_skin_description キャラクター名 default 'キャラクターの説明文など'

というのを二行目に入れれば、キャラクターの説明を入れることなどもできます。
 保存時によく文字化けするので、可能であればUTF-8Nという形式で保存するといいのですが、Windowsのメモ帳では対応していません。
 フリーソフトの「TeraPad」などが対応していますので、気になるようなら使ってみて下さい。
 TeraPad(窓の杜)
 テキストデータ保存時に、



 上部メニュー[ファイル]→[文字/改行コード指定保存]を選択し、

開いたウィンドウで文字コード「UTF-8N」改行コード「LF」という形式で保存します。

 このほかに、cc_キャラクター名.cfg というファイルを使って、細かい設定もいろいろできるのですが、今はとりあえずデータを受け渡して動かすだけなので、いじらないでおきます。
  テキスト保存し、拡張子 .txt を .cfg に変更すればできあがりです。


■重要:キャラクター名をそろえる


 データファイルがそろったら、すべてのファイルのキャラクター名をそろえます。このとき、半角英数の小文字にしておくと失敗しにくくなります。
 そして、そろえたすべてを キャラクター名 のフォルダにまとめます。

 suiko という名前のキャラクターであれば、





 このようにそろえて、



 このような名前のフォルダにまとめます。

 ■FaceRigのフォルダに挿入する


  FaceRigの、アバターのデータが入っているフォルダに、ひとまとめにしたフォルダを挿入します。

[Steam] の入っているフォルダから、[SteamApps] →[common]→[FaceRig]→[Mod]→[VP]→[PC_Common]→[Objects]というフォルダを探していくと、中に、他のアバターの名前のフォルダが入っているのが見つかりますので、そこに、追加して入れておきます。
 

■成功!


 成功しましたか?
 成功すると、FaceRigのアバターに、あなたの作ったキャラクターが追加されるはずです。







 PCカメラで、目や口の動きを読み取り、表情が変化して、絵に命が吹きこまれたかのように、アニメーションします。

 試行錯誤の末に完成したので、感激しました。


 1000円ほどのWebカメラでも十分に認識してくれますが、音が悪いので、オーディオインターフェイスなども用意したいところです。