リモートワーク時にVの者となりたい 〜masawadaに魂が舞い降りた！？〜
この記事は masawada Advent Calendar 2019 20日目の記事です。
自己紹介
こんにちは。毎年whywaita Advent Calendarというのを勝手にmasawadaに立てられている 
id:whywaitaと言います。今年で5回目になりました。masawadaを許すな。
masawadaさんは私の大学時代の先輩であり、色々なことを教えてもらった人です。色々とね。
動機
リモート時のテレビ会議、部屋が汚すぎてカメラを映すことが出来ないので、そろそろVの技術で参加できるようにしたいな🤔
— why/橘和板 (@whywaita) 2019年11月26日
社でリモートに会議を行うことがたまにあるのですが、その際に自宅の部屋がとても汚いと会社のメンバーに見せることは難しいです。 とはいえ音声だけでは自分の感情は伝わりにくいですし、コミュニケーションを損なうようではリモートワークなどはやらない方が良いでしょう。
そこで、Vの力を借りてみたいと思います。
Vとは
「バーチャルYouTuber」キズナアイを発端に著名となった、3次元モデルを動作させることで映像を作る手法、及びその手法を用いて動画や生放送を配信することを指します。
バーチャルYouTuber四天王の5人を始めとして、最初期はYouTube上での発信を行うユーザが多かったことから「VTuber」と呼ばれてきましたが、同じ手法でありながらYouTube以外の配信プラットフォームを用いて配信するユーザが増えてきたことから「Virtual Liver (バーチャルライバー)」という名前になったり、生配信などのライブ放送を主とせずに動画での発信を行う発信者も増えてきたことから「バーチャル〇〇」（例: Singer）などと名前の変遷が発生し、「V」などの短い文字で呼称されることも多くなりました。
私は界隈については詳しくありませんので、有志がまとめている「バーチャルYouTuberに起きた出来事をまとめるWiki」などのインターネット文献をご参照ください。
今回の記事ではその俗語の1つであるVの者という呼称を用いて進めます。
どうやってなるのか
現在様々なVの者が存在していますが、Live2Dなどを用いて1枚の2D画像から目や口などを動かす手法を採っている方や、体に複数個のセンサーを取り付けた上でモーションキャプチャを行いスタジオなどで配信を行っている方もいらっしゃるようです。 バックエンドも様々で、個人で配信されている方もいらっしゃれば、仕事としてどこかの企業がバックについて発信を行っている方もいらっしゃるようです。
わたしはリモートワークでVの者の技術を少しお借りしたいというだけであり、とてもモーションキャプチャのスタジオを借りることなどは出来ません。そもそもスタジオに行けるならオフィスに行けば良いという話ですね。
ひとまず、手元にあるiPhoneでどうにかできないかを探してみたところ、いくつかのアプリが出てきたのでご紹介します。
ミチコンPlus
独自のモーションキャプチャ技術によって、iPhoneやiPadなどのデバイス1台で全身のトラッキングができるアプリです。すごい。 人間の骨格情報を画像から判別して、iOSアプリ上でリアルタイムに反映できるようです。すごいな。
少し触ってみたのですがかなり精度は良いと感じていて、綺麗なモーションキャプチャが実現されているようでした。
しかし、口元のトラッキングは少し弱いのか、「マイクをオンにした上で音量から口のサイズを変える」という手法を採られていました。 顔の骨格を判定するのはかなり難しいと思うので、実現が難しいのであろうと思いつつも残念ながら採用を断念しました。
リモートワークで必要なのは全身ではなく顔付近のトラッキングなのです。。
iPhone Xsの持つ第2世代のNeural Engineを搭載したA12 Bionicチップ
そこで近年のiPhoneに搭載されたチップと、そのチップを用いて利用するARKitに注目しました。
私が持っているのはiPhone Xsなのですが、既にディスコンになってしまったようでAppleの公式サイトからは姿を消してしまっています。 iPhone Xsに搭載されているA12 Bionicチップでは、ARKitと呼ばれるSDKを用いてFace Trackingを実装することが可能となります。
参考文献によると、iPhoneではX以降のiPhoneでFace Trackingができるようです。
ちなみにミチコンPlusでは技術ブログが開設されており、ARKit 3と自社アプリとの比較記事が公開されています。
ARKitを用いたアプリ
ARKitを用いたアプリでは口元のトラッキングなども可能になるようで、いくつかのアプリを試してみましたが、最終的にドワンゴとS-courtの共同開発アプリである「カスタムキャスト」の使用を検討しています。
ARKitを用いたアプリはカスタムキャスト以外にも実装が存在しているのですが、他に無い利点として「目の開き具合が実際よりも大きく描写されている（気がする）」というところにあります。
他のアプリを試したところ、可愛い女性がモデルとなっている場合でも少し伏し目がちになってしまうことが多くありました。 これはわたしが普段から大きく目を開けていないというところに起因するものであり、アプリ側としてはトラッキングした状態を正確に描写しているのではないかと推測しています。
カスタムキャストでは（ユーザが伏し目がちであるという補正が考慮されているのか）比較的顔に力を入れなくても大きくぱっちりおめめに描写されているように感じます。 嘘かもしれない。
いくつかのアプリを入れて比較した中ではかなり良さげだったので、今後はカスタムキャストを用いてリモート出勤出来ればと思っています。 とりあえずBoothで素晴らしいアバターを購入させていただいて、import出来るかを検討してみたい……。
masawada要素
さて、この記事はmasawada Advent Calendarの記事なのでmasawadaの話をしなければいけません。厄介ですね。
というわけでmasawadaモデルを使ってVの者になってみました。以下動画です。
今年のmasawada Advent Calendarにおけるmasawadaからの ネタ プレゼントとしてmasawadaさんの3Dモデルが公開されたのは記憶に新しいですね。
リポジトリには3Dモデルが様々なフォーマットで展開されています。pngヤバいですね。 特に近年のVの者業界ではドワンゴ社がオープンソースで公開したVRM形式が人気で、今回のmasawada-3dにも含まれています。
そのファイルをアレやコレやいじくりまわしたのが上記の動画となります。これであなたもmasawadaの魂になれる！VTuberデビューは目の前だ！（私はやりません）
まとめ
というわけでVの者になれるよう頑張っていきたいと思います。ちなみに配信などは予定していませんのでスパチャなどの要望があればKyashなどで対応します。
本記事はもともと whywaita Advent Calendar 2019 の5日目に執筆者が現れない、ヤバい！となった時に書いていたものを流用しました。助かったぜ。
先行研究
- 💖美少女として勤務する - みずぴー日記
- こちらの記事でも夕方辺りに伏し目がちになってしまうという問題点が指摘されています
ちなみに
Zoomではこういう機能があるらしいです。えっ、これでいいのでは……？？？
ちなみに(2)
VRoid Hub上のmasawadaさんです。モデルが勝手に動いて変なポーズしだすので楽しい。 ※今回は非公開モデルでアップロードしています
