家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”
家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”
特徴
本体験は、自分の赤ちゃんをVR空間上で育児することのできる体験である。
体験者の顔画像から目、鼻、眉、口、輪郭の特徴を抽出し、体験者の赤ちゃんの顔を推定し、生成する。また、生成した赤ちゃんの顔画像を事前に用意した赤ちゃんモデルに投影することで、VR空間上で使用できる赤ちゃんエージェントとする。
体験者はヘッドマウントディスプレイを装着することで、自分の赤ちゃんを「あやす」、「ミルクをあげる」、「げっぷをさせる」、「寝かしつける」といった育児を体験することができる。
赤ちゃんの表情はプレイヤーの2D画像からディープラーニングによる「若年化モーフィング技術」を用いて生成され、VR体験においてもLive2Dを用いて動的に変化させることが可能である。
赤ちゃんの泣き声やミルクを飲む音、げっぷをする音に同期した触覚を体験者に提示することで、よりリアルな赤ちゃんらしさを表現している。
1.概要
2人の体験者はヘッドマウントディスプレイ（HMD）を装着し、体験者同士の顔画像から生成されたバーチャルリアリティ（VR）赤ちゃんにミルクをあげたり、げっぷをさせたり、寝かしつけるといった育児体験をすることができる。我が子のような赤ちゃんを育児することで、育児の方法を覚え、また、共同で赤ちゃんをあやすことによって体験者同士がお互いの関係について深く考えることができるでしょう。
2.技術説明
2.1 HMD装着時に違和感なく赤ちゃんモックアップを抱擁する
HMDを装着したまま赤ちゃん人形を違和感なく抱擁するためには、赤ちゃんモックアップの高精度なポジショントラッキングが必要である。本企画では、コンシューマHMDであるHTC VIVEに実装されている多点イメージセンサによる高精度なポジショントラッキングシステムを利用し、HMD装着時に違和感なく赤ちゃんモックアップを抱擁することができる。
2.2 顔画像生成（若年化モーフィング）
体験者の肌色に対応した平均顔の赤ちゃん顔画像を生成する。
まず、2人の体験者の顔を撮影し、OpenCVを用いたモーフィングを行う。
次に、機械学習のオープンソースライブラリである、Dlibを用いて体験者の顔画像および赤ちゃんの平均顔の特徴点を取得、その特徴点をもとに体験者の顔画像と赤ちゃんの平均顔を形状のみモーフィングし、肌領域を平滑化処理することで、体験者の赤ちゃんの顔画像を生成する。
そして、生成した赤ちゃん顔画像をLive2Dで動かし、それを体験内の赤ちゃんに投影している。
2.3 音と同期した触覚の提示
体験中の赤ちゃんの泣き声、ミルクを飲む音、げっぷ音、寝息、といった音声をフーリエ変換を用いたバンドパスフィルタに通すことで有効な周波数帯域（5Hz～200Hz）のみを振動データとして抽出し、HTC Vive のコントローラーを通してリアルタイムの触覚の提示を行っている。
3.体験の流れ
HMD装着前
1.体験者の写真を撮る
2.若年化モーフィング
HMD装着後
3.「子どもはいますか」、「子どもを欲しいですか」というアンケートに答える
4.赤ちゃんを抱っこする
5.赤ちゃんにミルクをあげる
6.赤ちゃんにげっぷをさせる
7.赤ちゃんを寝かしつける
8.「子育ては楽しかったか」、「育児の知識は身についたか」、「子どもは欲しくなったか」というアンケートに答える
なお3,8にて行うアンケートは体験には直接関係がない問いである．
得られる知見
婚活・妊活マーケット市場に対するVRコンテンツとしてのアプローチ方法
婚活・妊活マーケット市場において新規ユーザーの確保を行うVRコンテンツとしてのアプローチ方法
拡大するBaby Tech市場を見据えたVRコンテンツのアプローチ方法
受賞・メディア掲載
IVRC2016「Laval Virtual Award」受賞（100投稿のうち唯一）
Laval Virtual 2017「ACM SIGGRAPH Award」受賞（240展示社のうち唯一）
Blog https://blog.shirai.la/
実験展示に関するプレスリリース等
・VR Center、バーチャル空間内で結婚挙式・育児疑似体験会を実施 京大管理大学院や神奈川工科大の白井研究室とのコラボ
https://svrinfo.jp/detail?p=179761
・結婚したい人集合！挙式と育児をVRで体験出来るぞ！イオンレイクタウン『VR Center』で開催！
・VRで恋愛観や結婚観は変化するのか？ イオンのVR アミューズメント施設にて実証実験
https://www.moguravr.com/service-excellence-2016/
共同研究・開発者 株式会社富士通ソーシアルサイエンスラボラトリ
CEDEC2017での発表ティザー動画
講演資料の公開