リモートワーク時にVの者となりたい 〜masawadaに魂が舞い降りた！？〜

この記事は masawada Advent Calendar 2019 20日目の記事です。

自己紹介

こんにちは。毎年whywaita Advent Calendarというのを勝手にmasawadaに立てられている id:whywaitaと言います。今年で5回目になりました。masawadaを許すな。

masawadaさんは私の大学時代の先輩であり、色々なことを教えてもらった人です。色々とね。

動機

社でリモートに会議を行うことがたまにあるのですが、その際に自宅の部屋がとても汚いと会社のメンバーに見せることは難しいです。 とはいえ音声だけでは自分の感情は伝わりにくいですし、コミュニケーションを損なうようではリモートワークなどはやらない方が良いでしょう。

そこで、Vの力を借りてみたいと思います。

Vとは

「バーチャルYouTuber」キズナアイを発端に著名となった、3次元モデルを動作させることで映像を作る手法、及びその手法を用いて動画や生放送を配信することを指します。

バーチャルYouTuber四天王の5人を始めとして、最初期はYouTube上での発信を行うユーザが多かったことから「VTuber」と呼ばれてきましたが、同じ手法でありながらYouTube以外の配信プラットフォームを用いて配信するユーザが増えてきたことから「Virtual Liver (バーチャルライバー)」という名前になったり、生配信などのライブ放送を主とせずに動画での発信を行う発信者も増えてきたことから「バーチャル〇〇」（例: Singer）などと名前の変遷が発生し、「V」などの短い文字で呼称されることも多くなりました。

私は界隈については詳しくありませんので、有志がまとめている「バーチャルYouTuberに起きた出来事をまとめるWiki」などのインターネット文献をご参照ください。

scrapbox.io

今回の記事ではその俗語の1つであるVの者という呼称を用いて進めます。

どうやってなるのか

現在様々なVの者が存在していますが、Live2Dなどを用いて1枚の2D画像から目や口などを動かす手法を採っている方や、体に複数個のセンサーを取り付けた上でモーションキャプチャを行いスタジオなどで配信を行っている方もいらっしゃるようです。 バックエンドも様々で、個人で配信されている方もいらっしゃれば、仕事としてどこかの企業がバックについて発信を行っている方もいらっしゃるようです。

わたしはリモートワークでVの者の技術を少しお借りしたいというだけであり、とてもモーションキャプチャのスタジオを借りることなどは出来ません。そもそもスタジオに行けるならオフィスに行けば良いという話ですね。

ひとまず、手元にあるiPhoneでどうにかできないかを探してみたところ、いくつかのアプリが出てきたのでご紹介します。

ミチコンPlus

www.next-system.com

独自のモーションキャプチャ技術によって、iPhoneやiPadなどのデバイス1台で全身のトラッキングができるアプリです。すごい。 人間の骨格情報を画像から判別して、iOSアプリ上でリアルタイムに反映できるようです。すごいな。

少し触ってみたのですがかなり精度は良いと感じていて、綺麗なモーションキャプチャが実現されているようでした。

しかし、口元のトラッキングは少し弱いのか、「マイクをオンにした上で音量から口のサイズを変える」という手法を採られていました。 顔の骨格を判定するのはかなり難しいと思うので、実現が難しいのであろうと思いつつも残念ながら採用を断念しました。

リモートワークで必要なのは全身ではなく顔付近のトラッキングなのです。。

iPhone Xsの持つ第2世代のNeural Engineを搭載したA12 Bionicチップ

そこで近年のiPhoneに搭載されたチップと、そのチップを用いて利用するARKitに注目しました。

私が持っているのはiPhone Xsなのですが、既にディスコンになってしまったようでAppleの公式サイトからは姿を消してしまっています。 iPhone Xsに搭載されているA12 Bionicチップでは、ARKitと呼ばれるSDKを用いてFace Trackingを実装することが可能となります。

参考文献によると、iPhoneではX以降のiPhoneでFace Trackingができるようです。

ちなみにミチコンPlusでは技術ブログが開設されており、ARKit 3と自社アプリとの比較記事が公開されています。

ARKitを用いたアプリ

ARKitを用いたアプリでは口元のトラッキングなども可能になるようで、いくつかのアプリを試してみましたが、最終的にドワンゴとS-courtの共同開発アプリである「カスタムキャスト」の使用を検討しています。

customcast.jp

ARKitを用いたアプリはカスタムキャスト以外にも実装が存在しているのですが、他に無い利点として「目の開き具合が実際よりも大きく描写されている（気がする）」というところにあります。

他のアプリを試したところ、可愛い女性がモデルとなっている場合でも少し伏し目がちになってしまうことが多くありました。 これはわたしが普段から大きく目を開けていないというところに起因するものであり、アプリ側としてはトラッキングした状態を正確に描写しているのではないかと推測しています。

カスタムキャストでは（ユーザが伏し目がちであるという補正が考慮されているのか）比較的顔に力を入れなくても大きくぱっちりおめめに描写されているように感じます。 嘘かもしれない。

いくつかのアプリを入れて比較した中ではかなり良さげだったので、今後はカスタムキャストを用いてリモート出勤出来ればと思っています。 とりあえずBoothで素晴らしいアバターを購入させていただいて、import出来るかを検討してみたい……。

masawada要素

さて、この記事はmasawada Advent Calendarの記事なのでmasawadaの話をしなければいけません。厄介ですね。

というわけでmasawadaモデルを使ってVの者になってみました。以下動画です。

今年のmasawada Advent Calendarにおけるmasawadaからの ネタ プレゼントとしてmasawadaさんの3Dモデルが公開されたのは記憶に新しいですね。

github.com

リポジトリには3Dモデルが様々なフォーマットで展開されています。pngヤバいですね。 特に近年のVの者業界ではドワンゴ社がオープンソースで公開したVRM形式が人気で、今回のmasawada-3dにも含まれています。

そのファイルをアレやコレやいじくりまわしたのが上記の動画となります。これであなたもmasawadaの魂になれる！VTuberデビューは目の前だ！（私はやりません）

まとめ

というわけでVの者になれるよう頑張っていきたいと思います。ちなみに配信などは予定していませんのでスパチャなどの要望があればKyashなどで対応します。

本記事はもともと whywaita Advent Calendar 2019 の5日目に執筆者が現れない、ヤバい！となった時に書いていたものを流用しました。助かったぜ。

先行研究

ちなみに

Zoomではこういう機能があるらしいです。えっ、これでいいのでは……？？？

support.zoom.us

ちなみに(2)

VRoid Hub上のmasawadaさんです。モデルが勝手に動いて変なポーズしだすので楽しい。 ※今回は非公開モデルでアップロードしています

f:id:whywaita:20191220234208p:plain

whywaita Advent Calendar 2019参加者大募集中です

こんにちは。 id:masawada が似たような記事を書いていたので私も書いてみたいと思います。彼への敬意を込めて以前彼が開発していたはてなブログで書いてみたいと思います。

tl;dr

今年もノンジャンルAdvent Calendarを開催します、執筆現在3枠しか埋まっていないのでぜひ書いてください！！！

adventar.org

whywaita Advent Calendarとは

id:masawada が勝手に立てることで続いている私 whywaita の名前を冠したAdvent Calendarです。 2015年から勝手に立てられて、今年は5年目になりました。

勝手に立てられる点からお察しの通りだと思いますが、特にジャンルの指定はなく過去にもさまざまな記事を執筆していただきました。 もはやこじつけだろうと思えるものから私の好みドストライクなものまで様々なものがあります。

例年完全フリーテーマでやっているためたまに「どういうAdvent Calendarなのか分からない」というご意見をいただきますが、私も未だにわかっていません。

2016年の最終日の記事にも詳しく書いたのですが、空いた日があってしまうとさみしい気分になるので毎年私が会った方大体の人にお願いしています。

今年は早いうちから「4日分記事を書いて貰えませんか？」というお願いを2人にお願いしていたのですが、「いやー今年は辞めておきます」「誰が書くかよ…」という返答をいただいており本当に恐怖しています。 昨年は最終日以外わたしが記事を書かないというところに辿り着いたのですが、今年は本当にヤバそうです。

というわけでどなたでも参加してください。テーマはどうにかしてでも私にこじつけていただければ問題ないです。

まとめ

というわけで他のAdvent Calendarの練習でも、ガッチガチにわたしに合わせたネタでも構わないので登録をお待ちしております。

最後に、社会人になって6ヶ月経った銀行口座の様子をお伝えしてお別れです。3Dモデルはずるい1。

f:id:whywaita:20191105150136j:plain
244円

  1. masawada Advent Calendar 2019もやるらしいですがあっちの方が枠埋まりがちです https://masawada.hatenadiary.com/entry/2019/11/05/173000↩

ISUCON9 予選に出場して1日目4位で予選突破した #isucon

関連エントリです

isucon.net

isucon.net

チーム「第4西東京市」で出場して、1日目上位4位にランクインして予選を突破した。 今回は今のチームで4回目の出場であることからこのようなチーム名となった。

今回から私が社会人になった影響で学生チームではなくなったのだけど、しっかりランクインできてよかった。 （今年から学生枠がなくなったのであんまり関係なかったけど……）

やったこと

私はいつも通り他のメンバーがドキュメントを読んだり環境構築している間に、サーバのセットアップを行ったり細かい調整を行っていた。 やった内容は去年も書いたので割愛。

良くも悪くもメンバーの役割分担が固定化されつつあって、順当にスコアを増やせた印象。 全員の作業がしっかりとmasterにマージされて、全員がスコアに寄与したと思う。

具体的になにをやったかは、書けたら追記します。。

まとめ

本戦出場出来たのは本当に嬉しい、絶対優勝するぞ！！！！！

GCP初心者がGAE/Go入門する時に学んだことまとめ

社会になったのですが、とあるWebアプリケーションを4月の間作っていた際に入門しました。

その際にそこそこ多くの点でハマったので共有しておきます。

続きを読む

ICTトラブルシューティングコンテスト2018 学生運営を務めました #ictsc

関連エントリです

という訳で今回も有り難い事に関わらせていただきました。(ここまでほぼコピペ) （ツチノコブログさんが消えてしまったのでタイトルが少しおかしいですね…。）

今回からICTSCの開催ルールが変更となり、半年おきから1年おきに変更になりました。 詳細は公式サイトをご確認ください。

続きを読む

Dentoo.LT #22 参加してきた #dentoolt

いつもの感じ。お世話になっております。

atnd.org

自分の発表

ちょっとセンシティブな内容を含むのでスライド公開は今のところなしで。気になる方はYouTubeのアーカイブがあるのでそちらで。

Dentoo.LT という会を大学に認知していただいて、そこから上手く発展/継続できるようにした話をした。 大体どういうイベントでも適用出来ると思うので、他大学のLT大会であったりとか、電通大内で他のイベントやりたいって思ってる人はぜひ参考にしていただければと思います。

他の方の発表

次回から主催となる id:kira000 を始めとして若者がちゃんと発表しててすごいなあと思った。特に内容がよくて、私はかなり最近までプログラミング開発に苦手意識を持っていたので早い内から手を動かしているのは素晴らしいと感じた。

id:mizdra は最近の発表だと時間内に話が終わるようになってきたし、 id:hogashi は常に面白いので老婆心が働いて感動。良い話や。

今後

Dentoo.LT でも話したのだけど、私がこの3月で卒業となるので次回行けるかは今現在だと分かりません。行けると良いなあ。

もう個人では全く運営に関わってないので、上手く継承出来て良かった〜という感じ。今後も継続すると嬉しいね。

まとめ

今回は id:masawada も来たので初代〜5代目主催までが一堂に会す会となった。意外と凄いかも。

というわけで、3ヶ月後あたりにまた。