Real Baby – Real Family – Shirai Lab http://blog.shirai.la 白井研究室 Wed, 18 Jul 2018 14:08:27 +0000 ja hourly 1 https://wordpress.org/?v=5.1.6 ゲーム開発者会議 CEDEC2017 にて2件の発表を行います http://blog.shirai.la/blog/cedec2017/ Tue, 29 Aug 2017 01:42:02 +0000 http://blog.shirai.la/?p=4546 2017年8月30日から9月1日までパシフィコ横浜にて開催されるゲーム開発者会議「CEDEC2017」にて展示＆口頭発表を行います．

http://cedec.cesa.or.jp/2017/

【追記】発表スライドを追加いたしました。

口頭発表は2日目(8/31)15:20～15:45「次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア」

【セッションの内容】
本発表「次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア」では、既存の3D立体視技術を応用した多重化映像技術Scritterシリーズ、ExPixel、ExFieldについて紹介します。
多重化映像技術によって、1つのディスプレイ装置で複数の映像を、同時且つ排他的に視聴することが可能になります。
本発表では3つのパートに分け、(1)多重化映像技術の研究的立ち位置、(2)ゲーム応用に向けた多重化映像生成ミドルウェアの開発、(3)多重化映像のコンテンツ応用についてお話します。

詳細情報： http://cedec.cesa.or.jp/2017/session/AC/s58e0479a139a7/
卒業生，現・（株）ソニー・インタラクティブエンタテインメントの鈴木久貴さんとのコラボで発表する予定です．

【追記】FacebookコミュニティとSlides公開しました

Google Slides 公開版はこちらです
http://bit.ly/CEDEC2017MDM
Facebookグループもつくりました。ご質問はこちらへ。
http://bit.ly/MDMediaFB

このスライドはSlideShare公開版です。個人・社内等での再利用等は可能ですが、スクリーンショットを取得したりして再編使用する場合はお問合せいただければ幸いです。

 

1F6番「家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”」

デモ展示をインタラクティブセッション（1Fの6番）では期間中を通して、Real Baby最新版を展示いたします。

コアタイム時間は大変混雑しますので予約中心となる見込みです。講演時間中はフリー体験可能です。そして”オーディエンス賞”へのご投票もよろしくお願いいたします！

【セッションの内容】
本体験は、自分の赤ちゃんをVR空間上で育児することのできる体験である。
体験者の顔画像から目、鼻、眉、口、輪郭の特徴を抽出し、体験者の赤ちゃんの顔を推定し、生成する。また、生成した赤ちゃんの顔画像を事前に用意した赤ちゃんモデルに投影することで、VR空間上で使用できる赤ちゃんエージェントとする。

体験者はヘッドマウントディスプレイを装着することで、自分の赤ちゃんを「あやす」、「ミルクをあげる」、「げっぷをさせる」、「寝かしつける」といった育児を体験することができる。

赤ちゃんの表情はプレイヤーの2D画像からディープラーニングによる「若年化モーフィング技術」を用いて生成され、VR体験においてもLive2Dを用いて動的に変化させることが可能である。
赤ちゃんの泣き声やミルクを飲む音、げっぷをする音に同期した触覚を体験者に提示することで、よりリアルな赤ちゃんらしさを表現している。

http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/

 

おまけ・インタラクション2017でのティザー動画

その他の講演も興味深い

聴講もいろいろ予習しています．興味があるタイトルだけでも列挙しておきます．

公式ガイドブックのPDFはこちらからダウンロードできます。

  • 『ソードアート・オンライン』 仮想から現実へ。 小説とゲーム技術のお話。 ～ソードアート・オンラインが現実になる日まで。～
  • 【ラウンドテーブル】 WM（ワーキングマザー）開発者の悩みとその解決策を共有しよう！－ワークライフバランス実現のためのTIPS
  • プロダクションラウンドテーブル2017
  • 技術デモだった「サマーレッスン」がご家庭で遊べるようになるまで　～あなたの技術デモは製品化できますか？～
  • 過去のお約束を捨てることがVRの始まり ～ PlayStation®VR ヘディング工場のゲームデザインと演出
  • [芸術科学会(Nicograph)×CEDECコラボセッション] 芸術と科学の融合とTechnical Artist
  • カジノIR、及びeSportsを含む賞金制コンピューターエンターテインメントの現状と未来について
  • HTC VIVEの中～上級者向け利用方法と今後の新製品について
  • より没入できるメディア体験　〜「8K:VR」が切り拓く シアター型VRの可能性〜
  • リアルタイム・フィルムメイキング：その現在と未来 Realtime Fim Making
  • これからのeSportsへの取り組み ~大会実況システムの開発と運用を通して得られた知見~
  • 「Battlefield 1」におけるゲームVFX制作 そしてフリーランスになること
  • Starbreeze StudioのＶＲ制作の詳細な体験談　　　Under the hood of Starbreeze experience on VR
  • はじめてスマホに触れるシニア世代のゲーム事情
  • パフォーマンスをあげて、より多くのゲームプレイを　　　More Performance, More Gameplay
  • パネル：欧米におけるゲームテクノロジー　　　Video Game Technology in the West: The Panel
  • “GO OUTSIDE! Adventures on foot”
  • VRゲーム開発の最前線から学ぶデザインパターン
  • 診察室でゲームが「処方」される未来へ ー医師の視点からみる「ヘルスケア × ゲーム」の先進事例紹介と展望
  • 音声収録制作 Game Dialogue Production
  • 『ゼルダの伝説 ブレス オブ ザ ワイルド』におけるフィールドレベルデザイン ～ハイラルの大地ができるまで～
  • DanceDJ: ライブパフォーマンスのための実時間ダンス編集システムの提案
  • 流動床インターフェース：液体のようにふるまう砂を用いた インタラクションシステム
  • PERACON2017会場でお会いしたい方は是非お早めにご連絡を！探したいときは「Real Baby」のブースにお立ち寄りください．

なお，展示についてもセッションの間の時間帯は大変込み合いますので事前のご連絡もしくは会場でのご予約を推奨します．

]]> SIGGRAPH2017 Emerging Technologiesで「Real Baby」の発表を行いました http://blog.shirai.la/blog/siggraph2017-baby/ http://blog.shirai.la/blog/siggraph2017-baby/#comments Mon, 14 Aug 2017 12:30:38 +0000 http://blog.shirai.la/?p=4509 2017年7月30日～8月3日にかけて，アメリカ・ロサンゼルスで開催されたACM SIGGRAPH2017 Emerging Technologiesで「Real Baby」の発表を行いました．

神奈川工科大学 3年生による “VR赤ちゃん”「Real Baby – Real Family」が国際賞を連続受賞

こちらの記事でも紹介させていただきましたが，フランスLaval Virtual 2017でのACM SIGGRAPH Award受賞により（実際には一般投稿もしていましたが），ACM SIGGRAPHという44年続く世界最大のCG・インタラクティブ技術の国際会議に招聘されました．しかもその展示先は「Emerging Technologies」（通称「E-Tech」）という先端技術のデモを行う世界最高の場所です．

 

http://s2017.siggraph.org/content/emerging-technologies

“Real Baby – Real Family: Age-Controllable VR Avatar From 2D Face Images”

Real Baby – Real Family is an entertainment VR baby-avatar-generation system that includes visual, audio, and haptic feedback; a physical baby form; and a virtual baby whose face is generated by combining two photos of the players. I project simulates a complete baby-nursery experience.

Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, Akihiko Shirai
Kanagawa Institute of Technology

論文はこちら

“Real baby – real family”: VR entertainment baby interaction system

 

一般参加が多いLaval VirtualやAnime Expoにくらべ，子供や家族連れは少ないのですがそれでも幅広い人々に人気でした．

もちろんMasQueRadeによるデータも取得しています．

またいつもの国際版展示に加えて，いくつかの新機能も展示いたしました．中でも日本のスタートアップの雄・Xenoma社のセンサスーツ「e-Skin」のベイビー版（特注品・プロトタイプ）とのコラボ展示も行いました．

 

IVRC BoF会議

また初日にはIVRC（国際学生対抗バーチャルリアリティコンテスト）の主催でBirds of a Feather（BoF）というシンポジウム形式の会議も開催されました．実行委員長の舘先生をはじめとする，フランスLaval Virtualの代表者，またLaval Virtualで本作に賞を授与したSIGGRAPH Emerging Technologiesのチェアによるスピーチ，そして過去のIVRC参加学生による発表が行われました．

講演資料と写真、動画リンクはこちらで共有されています．

 

後日談：VRScoutで13万再生！

なお後日談ですが，VRSCoutという世界のVRメディアに2017/8/12付で紹介されました．2日後の8/14時点で13万再生されています。

VR Baby Simulator

Virtual babies have arrived.

VRScoutさんの投稿 2017年8月11日金曜日

コメントには誤解が多いようですが…インパクトはあったようです．

 

「Real Baby」プロジェクトの今後の展示・発表予定

後日報告はACM東京のこちらのイベント

「シーグラフ東京 第８６回セミナー」 SIGGRAPH 2017 報告会 (8/24)

主催　　　TOKYO ACM SIGGRAPH （シーグラフ東京）
開催日　　2017年8月24日（木曜日）
開場　　　18:00　報告会　　18:30-21:00

場所　女子美術大学　杉並キャンパス　女子美術大学杉並校舎　7号館2階7201教室
杉並区和田 1-49-8（最寄駅：東京メトロ丸の内線　東高円寺駅徒歩１０分）
詳細はこちら http://www.sig-tokyo.org/

 

JST「ライフイノベーション 新技術説明会」(8/24)

2017年08月24日(木) 12:55～16:00 JST(科学技術振興機構)、タマティーエルオー株式会社主催 「ライフイノベーション　新技術説明会」にて講演します ご興味ありましたら個別相談申し込みをどうぞよろしくお願いします．

https://shingi.jst.go.jp/kobetsu/tama-tlo/2017_tama-tlo.html

CEDEC2017 (8/30-9/1)

ゲーム開発者会議CEDECでの展示です．登録必要・有料です．
家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”

http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/

 

以下，ロサンゼルス現地での様子などなどTwitterでお送りします．

https://twitter.com/o_ob/status/892942816883621889/

]]> http://blog.shirai.la/blog/siggraph2017-baby/feed/ 1 集英社らとロサンゼルスAnime Expo 2017において大規模なVR作品展示 #AX2017 http://blog.shirai.la/blog/ax17/ Wed, 28 Jun 2017 02:34:28 +0000 http://blog.shirai.la/?p=4466 白井研究室は集英社ジャンプVRチーム、大日本印刷、プログマインド、VR制作会社らと協力し2017/7/1〜4にロサンゼルスで開催される全米最大級の日本マンガ・アニメのためのファンイベント「Anime Expo 2017」にて「日本キャラVR祭〜Japan Character VR〜」で特設ブースを開設し、日本のコンテンツパワーを海外に発信します。

http://jcs.shueisha.co.jp/jvr/matsuri/

http://www.anime-expo.org/

白井研究室からは子育てVRエンタテイメント「Real Baby – Real」と、今回完全なリブート新作となる「Manga Generator JUMP VR」で”初代Manga Generatorからの長年の夢”であった「Naruto」と「ONE PIECE」とのコラボを実現しました。

「Manga Generator JUMP VR」体験中の一コマから。実演は開発を担当した白井研究室4年 渡邉翔さん。

そして会場ではVR体験イベントにおける効果測定システムを使った国際公開実験を行います（倫理審査申請中）。

Anime Expoとは、1992年から開催されている北米最大のアニメ・コンベンション。AX2017は7月1日からロサンゼルスで開催となり、作品上映会、コスプレ、グッズ販売など様々なイベントが行われ、日本人クリエイターもゲストで多数参加。期間中の会場は24時間開いており、決して眠ることはない大々的なイベントです。

「日本キャラVR祭」とは、日本のコンテンツメーカー各社が日本で生まれたキャラクターや作品を、最新のVR技術を通じて全世界のファンへと届け、その魅力を広める活動です。AX2017内では特設ブースを出展します。今回は集英社と大日本印刷が中心となり、日本のVR開発者たち（10団体以上）を引き連れAX 2017に乗り込むことになりました。

 

Anime Expo 2017（AX 2017）開催概要

◆開催日時：2017年7月1日～7月4日
◆開催場所： ロサンゼルス・コンベンションセンター
Webサイト：http://www.anime-expo.org

■主な出展企業・団体/出展タイトル（予定）

・株式会社集英社 ワンピースキューブ/ジャンプキューブ/ジャンプ美術館/『DEATH NOTE』VR脱出ゲーム
・株式会社講談社　Hop Step Sing!
・株式会社桜花一門　ChainMan
・神奈川工科大学 白井研究室+Progmind Inc.　Manga Generator JUMP VR
・他７企業。

皆様のお越しをお待ちしております。

会場の写真、動画等もこちらに追加予定です。

準備のようす

さすが集英社の編集さん、ほんと厳しいですが大変勉強になりました。

＜集英社による報告＞

【連載】集英社 ジャンプVRが行く！ 特攻野郎 VRチーム‼︎ 海外渡航への道のり


（マンガの続きはPANORAにて…）

＜以下関連Twitter＞

]]> ラボプロジェクトとなった「Real Baby – Real Family」がACM SIGGRAPH Awardを受賞 http://blog.shirai.la/blog/real-baby-acm-siggraph-award/ Sat, 22 Apr 2017 08:44:09 +0000 http://blog.shirai.la/?p=4414 IVRCに挑戦した3年生による “VR赤ちゃん”「Real Baby – Real Family」、2017年よりラボプロジェクトになり国際賞を連続受賞

神奈川工科大学の学部3年生によるチーム「明るい家族計画」(代表・情報メディア学科 3年 望月宥冶)が開発したVR赤ちゃんプロジェクト「Real Baby – Real Family」は、2016年10月に行われた第24回国際学生対抗VRコンテスト（IVRC2016）にて100作品中唯一となる国際賞「Laval Virtual Award」を受賞しました。

その後、プロジェクトの多くのメンバーが白井研究室へ配属希望し仮配属となった事から、2016年12月より正式にラボプロジェクトとなり、白井准教授が及び看護学科で新生児看護学を担当する青木助教が監修に参加しました。

その後、2017年3月22-26日に、受賞によって招待された欧州最大規模のVRフェスティバル「Laval Virtual 2017」（フランス・ラヴァル市）において展示発表及び口頭発表、パネルトーク参加を行いました。

さらに、Laval Virtual Awardsにおいて、世界最大かつ最も歴史あるCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」（アメリカ・ロサンゼルス）で展示を行事になりました。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなりました。

チーム「明るい家族計画」によるプレスリリース

「Real Baby – Real Family」がACM SIGGRAPH Awardを受賞

プレスリリース形式のPDF・画像のダウンロードはこちら

Laval Virtual 2017授賞式における「ACM SIGGRAPH Award」受賞の様子

没入感高く映像空間を体験できるバーチャルリアリティ技術（VR）は、近年エンタテイメント分野を中心に世界的に注目されています。VR赤ちゃんシミュレータ「Real Baby – Real Family」は、世界で最も歴史あるVR作品コンテスト「第24回国際学生対抗VRコンテスト（IVRC2016）」においてファイナリストとなった、神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のプロジェクトです。2016年10月29～30日に日本科学未来館において行われたIVRC2016決勝大会にて、応募100作品中で唯一となる国際賞「Laval Virtual Award」を受賞しました。本受賞によって招待された欧州最大規模のVRフェスティバル・第19回「Laval Virtual 2017」（2017年3月22～26日／フランス・ラヴァル市）において、17,700人の専門家向けおよび一般参加者向けの展示を行いました。さらに、240社の出展者から唯一となる賞として、世界最大かつ44年の歴史を持つCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」（アメリカ・ロサンゼルス）で展示を行うことが決定しました。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなりました。

「Real Baby – Real Family」代表写真

本プロジェクトは、学生コンテストが終了したのち、現在神奈川工科大学 情報学部 情報メディア学科 白井暁彦准教授の指導の下、VRエンタテイメントの新しい市場を拡張する研究として基礎研究及び開発が続けられています。
ディープラーニングを使った顔画像処理により体験者自身の顔画像を元に3D空間で自身の顔の特徴を持った赤ちゃんに出会うことが可能です。この赤ちゃんはシンプルな人工知能により、泣く、笑う、見つめるなどの体験者に対する反応を示し、体験者は視覚・聴覚・触覚をフルに使い、赤ちゃんが人々に与える影響をVR空間上で短時間に体験することが可能になっています。このVRならではの体験を通して、出産や育児について前向きに考える機会を与える設計が評価されています。
国内および国際展示において得られた経験として、「VR赤ちゃん」はただの人形や映像と異なり「感情に訴える」という映像中心の既存VRから、「感情の設計」という新たな可能性を探求しており、幅広い体験者に影響を及ぼす可能性が評価されています。また日本の少子高齢化問題は世界から注目されており、出産経験のない若い情報メディア分野の学生が先端技術を使い、自らVR作品を開発して社会にアプローチしている点も評価されています。様々な国や文化圏の体験者より入手したフィードバックから、子供を産むことについてシリアスに考えづらい若者に向けた「おもしろい体験を通したシミュレーション」，「育児エンタテイメント」といったカジュアルなゲーミフィケーション効果が確認されており、近い将来、商業化が期待されています。ショッピングモールやデートスポットなどにおけるプリントシール機感覚の若者向けエンタテイメントVR体験を提供し、少子高齢化問題へアプローチするための新規サービスや商品提案・市場開拓の手がかりとなるマーケットリサーチ及び啓蒙を行うツールとして、様々な企業とコラボレーションを行い、生きたフィールドデータを取得しています。

2017年4月29日にはニコニコ超会議での展示もあります。

ニコニコ超会議2017「JapanVR Fest.」ゾーン（Hall 9）において公開実験を行います。

4/29,幕張メッセ「ニコニコ超会議2017」でVR赤ちゃんつくりませんか？ #chokaigi #超会議

IVRC2016決勝大会授賞式における「Laval Virtual Award」受賞

「Real Baby – Real Family」ポスター(英語版)

 

「Real Baby – Real Family」体験中、哺乳瓶からミルクをあげています。赤ちゃんが笑い、手には振動が伝わります。

「Real Baby – Real Family」ポスター(日本語版)

Laval Virtual 2017における展示の様子（縦）

Laval Virtual 2017における展示の様子（横）

]]>