ExField – Shirai Lab http://blog.shirai.la 白井研究室 Wed, 18 Jul 2018 14:08:27 +0000 ja hourly 1 https://wordpress.org/?v=5.1.6 インタラクティブ・サイネージ 「The Coming Future ～来たるべき未来」完成 http://blog.shirai.la/blog/fae40th/ Wed, 27 Sep 2017 02:35:01 +0000 http://blog.shirai.la/?p=4582 株式会社 富士通アドバンストエンジニアリングの40周年記念事業として白井研究室と共同でインタラクティブ・サイネージを開発いたしました。

2017年10月2日に完成式典を行い、富士通アドバンストエンジニアリング本社受付（新宿パークタワー18F）に常設されております。

インタラクティブ・サイネージ
「The Coming Future ～来たるべき未来」

インタラクティブ・サイネージ「The Coming Future ～来たるべき未来」は、(株) 富士通アドバンストエンジニアリング（以下 FAE 社）の創立40周年記念事業のインタラクティブ・サイネージとして制作された映像作品です。ファクトリーオートメーション技術の会社における 40周年にふさわしく、20年後である2037年の「未来の工場」を描きます。
20年後の未来では過去の従業員の知識や経験を「AIタクミ」と呼ばれる人工知能として蓄積し、量子コンピュー タを用いた複雑な演算をパートナーロボットが仲介しながら処理しています。そして、その工場で働く女性新人・ルーシーはたった一人で「空飛ぶ車」を、今まさに量産しようとしていますが……．

 

「Project JARVIS」

FAE社のエンジニアの方々のインタビューを元に、実現されるであろう未来の世界設定を行いました。FAE社の全面的な協力を得て、社員それぞれの「FAEの20年後の未来，どんな未来にしていきたいか？」について、メッセージデータベースを構築しています。

「Project JARVIS」は第4世代多重化不可視映像技術「ExField」を使用したインタラクティブ・サイネージシステムであり、ショートアニメーションを表示するメインディスプレイを補足するサブ・ターミナルとして機能し，映像視聴中の体験者に接触することなく意思を伝えることができます。現在の社員（もしくは新卒採用面接時の学生など）が「未来の先輩社員」として，20年後の後輩社員・ルーシーとコミュニケーションをとるための装置としての役割を持っています。

 

展示はFAE社のアイディアを加えて、さらに進化し、プロジェクションマッピングと統合された体験として長期間にわたりお客様をお迎えするシンボルになっています。

 

スタッフ

映像監督：村上寛光
アニメーション・キャラクターデザイン：オ・ソロ
サウンドデザイン：滝野ますみ
声：大和田仁美
JARVIS開発：山口聖也
UX開発：Jose Luis Abreu
プロデューサ補：Rex HSIEH
プロデュース：白井暁彦

協力：神奈川工科大学 情報学部 情報メディア学科 白井研究室
提供：(株)富士通アドバンストエンジニアリング

 

開発の中心として貢献した白井研究室 4年生・山口聖也さんのコメントを掲載します。

先ず、最初に
この度は、このような素晴らし機会を与えていただいてFAEの皆様へ重ねて感謝したいと思います。
本当にありがとうございました。

私自身の話になりますが、今回の取り組みは自分にとって新しい発見や反省の連続でした。
特にFAEの皆様との作業を通して、「納期を守ることの重要性」を改めて痛感しました。納期を守るために何をしなければならないのか、最優先にすべきこと、切り捨てるという決断など、プロジェクトの取り組みを社会に出る前に経験できたことは、かけがえのない財産になったと思います。

今回の作品、THE COMING FUTURE は白井研究室で開発したExFieldという裸眼多重化映像技術とデジタルサイネージを連携させたエンタメ作品です。
まだすこし粗削りな部分もあるかもしれませんが、皆さんが楽しんでいただけることを望んでいます。

最後にこのような貴重な経験の機会を与えてくださったFAEの皆様へ白井研究室一同、重ねて感謝申し上げます。ありがとうございました。

立つ位置によって映像が変わるインタラクティブサイネージ「JARVIS」を使って「未来の後輩」からの質問に回答していきます。

「AIタクミ」は実在するFAE社の従業員の皆さんにご協力いただきました。社員一枚一枚の写真や働く上での信条、未来へのメッセージがデータベースになっており、代表的な社員の回答は本人の声を収録しています。生々しい年輪のある声で「未来の後輩」にヒントを与えています。

 

]]> ゲーム開発者会議 CEDEC2017 にて2件の発表を行います http://blog.shirai.la/blog/cedec2017/ Tue, 29 Aug 2017 01:42:02 +0000 http://blog.shirai.la/?p=4546 2017年8月30日から9月1日までパシフィコ横浜にて開催されるゲーム開発者会議「CEDEC2017」にて展示＆口頭発表を行います．

http://cedec.cesa.or.jp/2017/

【追記】発表スライドを追加いたしました。

口頭発表は2日目(8/31)15:20～15:45「次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア」

【セッションの内容】
本発表「次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア」では、既存の3D立体視技術を応用した多重化映像技術Scritterシリーズ、ExPixel、ExFieldについて紹介します。
多重化映像技術によって、1つのディスプレイ装置で複数の映像を、同時且つ排他的に視聴することが可能になります。
本発表では3つのパートに分け、(1)多重化映像技術の研究的立ち位置、(2)ゲーム応用に向けた多重化映像生成ミドルウェアの開発、(3)多重化映像のコンテンツ応用についてお話します。

詳細情報： http://cedec.cesa.or.jp/2017/session/AC/s58e0479a139a7/
卒業生，現・（株）ソニー・インタラクティブエンタテインメントの鈴木久貴さんとのコラボで発表する予定です．

【追記】FacebookコミュニティとSlides公開しました

Google Slides 公開版はこちらです
http://bit.ly/CEDEC2017MDM
Facebookグループもつくりました。ご質問はこちらへ。
http://bit.ly/MDMediaFB

このスライドはSlideShare公開版です。個人・社内等での再利用等は可能ですが、スクリーンショットを取得したりして再編使用する場合はお問合せいただければ幸いです。

 

1F6番「家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”」

デモ展示をインタラクティブセッション（1Fの6番）では期間中を通して、Real Baby最新版を展示いたします。

コアタイム時間は大変混雑しますので予約中心となる見込みです。講演時間中はフリー体験可能です。そして”オーディエンス賞”へのご投票もよろしくお願いいたします！

【セッションの内容】
本体験は、自分の赤ちゃんをVR空間上で育児することのできる体験である。
体験者の顔画像から目、鼻、眉、口、輪郭の特徴を抽出し、体験者の赤ちゃんの顔を推定し、生成する。また、生成した赤ちゃんの顔画像を事前に用意した赤ちゃんモデルに投影することで、VR空間上で使用できる赤ちゃんエージェントとする。

体験者はヘッドマウントディスプレイを装着することで、自分の赤ちゃんを「あやす」、「ミルクをあげる」、「げっぷをさせる」、「寝かしつける」といった育児を体験することができる。

赤ちゃんの表情はプレイヤーの2D画像からディープラーニングによる「若年化モーフィング技術」を用いて生成され、VR体験においてもLive2Dを用いて動的に変化させることが可能である。
赤ちゃんの泣き声やミルクを飲む音、げっぷをする音に同期した触覚を体験者に提示することで、よりリアルな赤ちゃんらしさを表現している。

http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/

 

おまけ・インタラクション2017でのティザー動画

その他の講演も興味深い

聴講もいろいろ予習しています．興味があるタイトルだけでも列挙しておきます．

公式ガイドブックのPDFはこちらからダウンロードできます。

  • 『ソードアート・オンライン』 仮想から現実へ。 小説とゲーム技術のお話。 ～ソードアート・オンラインが現実になる日まで。～
  • 【ラウンドテーブル】 WM（ワーキングマザー）開発者の悩みとその解決策を共有しよう！－ワークライフバランス実現のためのTIPS
  • プロダクションラウンドテーブル2017
  • 技術デモだった「サマーレッスン」がご家庭で遊べるようになるまで　～あなたの技術デモは製品化できますか？～
  • 過去のお約束を捨てることがVRの始まり ～ PlayStation®VR ヘディング工場のゲームデザインと演出
  • [芸術科学会(Nicograph)×CEDECコラボセッション] 芸術と科学の融合とTechnical Artist
  • カジノIR、及びeSportsを含む賞金制コンピューターエンターテインメントの現状と未来について
  • HTC VIVEの中～上級者向け利用方法と今後の新製品について
  • より没入できるメディア体験　〜「8K:VR」が切り拓く シアター型VRの可能性〜
  • リアルタイム・フィルムメイキング：その現在と未来 Realtime Fim Making
  • これからのeSportsへの取り組み ~大会実況システムの開発と運用を通して得られた知見~
  • 「Battlefield 1」におけるゲームVFX制作 そしてフリーランスになること
  • Starbreeze StudioのＶＲ制作の詳細な体験談　　　Under the hood of Starbreeze experience on VR
  • はじめてスマホに触れるシニア世代のゲーム事情
  • パフォーマンスをあげて、より多くのゲームプレイを　　　More Performance, More Gameplay
  • パネル：欧米におけるゲームテクノロジー　　　Video Game Technology in the West: The Panel
  • “GO OUTSIDE! Adventures on foot”
  • VRゲーム開発の最前線から学ぶデザインパターン
  • 診察室でゲームが「処方」される未来へ ー医師の視点からみる「ヘルスケア × ゲーム」の先進事例紹介と展望
  • 音声収録制作 Game Dialogue Production
  • 『ゼルダの伝説 ブレス オブ ザ ワイルド』におけるフィールドレベルデザイン ～ハイラルの大地ができるまで～
  • DanceDJ: ライブパフォーマンスのための実時間ダンス編集システムの提案
  • 流動床インターフェース：液体のようにふるまう砂を用いた インタラクションシステム
  • PERACON2017会場でお会いしたい方は是非お早めにご連絡を！探したいときは「Real Baby」のブースにお立ち寄りください．

なお，展示についてもセッションの間の時間帯は大変込み合いますので事前のご連絡もしくは会場でのご予約を推奨します．

]]> 【GTMF2016】多重化体験キット ダウンロード http://blog.shirai.la/blog/multiplex_gtmfver/ Fri, 15 Jul 2016 07:04:00 +0000 http://blog.shirai.la/?p=4019 2016/7/15開催のGTMF2016のSMILESの神奈川工科大学のブースにて、多重化映像技術ExPixelおよびExFieldの開発者向け体験キットのご紹介をしております(詳細)。

このキットを使えば誰でも、実行ファイルを動かすだけで好きな画像を多重化映像として試すことができます。
以下のURLからご登録の上、ダウンロードお願いいたします。

GTMF2016多重化映像体験キット

なお、お問い合わせ経由でターゲットハードウェアのお貸出しも対応します。

多重化映像技術を、ゲーム開発・インタラクティブシステム開発・サイネージ開発やその他の分野でも
使ってみたい方はお気軽にご相談ください。

神奈川工科大学 白井研究室　鈴木  gtmf2016 (at) shirai.la

]]> Laval Virtual 2016で発表を行いました http://blog.shirai.la/blog/laval-virtual-2016/ http://blog.shirai.la/blog/laval-virtual-2016/#comments Thu, 31 Mar 2016 23:04:32 +0000 http://blog.shirai.la/?p=3905 2016年3月23～27日にフランスLavalで開催された，世界最大のVRフェスティバル Laval Virtualにおいて，大学院生の鈴木さんが総合プロジェクトにおいて谷中先生らと開発したExField技術による多重化デモ「Glassless Augmented Display for public signage」の発表を行いました．

https://twitter.com/o_ob/status/713685038206992385/

Laval Virtual 2016の様子はこちら
http://j.mp/LV16photo

]]> http://blog.shirai.la/blog/laval-virtual-2016/feed/ 1 ワールドビジネスサテライト「トレたま」で研究成果が報道されました http://blog.shirai.la/blog/wbs20160224/ Mon, 29 Feb 2016 14:21:09 +0000 http://blog.shirai.la/?p=3883 以下の番組で報道されました。

テレビ東京「ワールドビジネスサテライト」2016年2月24日放映
【トレンドたまご】角度で見え方変わるディスプレー

http://www.tv-tokyo.co.jp/mv/wbs/trend_tamago/post_106871/

なお、今回の番組で紹介された多重化技術「ExField」は、白井研究室の研究成果発表会「エンタテイメントシステム工学研究会」で口頭発表＆デモ展示いたします。
http://blog.shirai.la/blog/2016/02/20160301/


※映像の使用は許可を申請しています

]]> 多重化技術「ExField」を発表 http://blog.shirai.la/blog/exfield-press/ Thu, 18 Feb 2016 15:00:07 +0000 http://blog.shirai.la/?p=3845 2016年2月19日付、 神奈川工科大学および株式会社富士通ソーシアルサイエンスラボラリより共同プレスリリースを発信いたします。

神奈川工科大学が “どこから見ても正面に見える”
広告向けディスプレイ技術を開発　‐‐ ARや多言語表示に期待
～ 富士通SSLと実用化に向けた共同研究を推進 ～

神奈川工科大学情報学部情報メディア学科の谷中一寿教授、白井暁彦准教授らはこのたび、映像を複数の視点から自然に正面に見えるよう同時表示するディスプレイ技術「同時空間共有ディスプレイ（SSSD：Simultaneous Spatial Shared Display）」と、その内部エンジンである「ExField」を開発しました。近く国内とフランスでのVRに関する国際会議でも発表します。AR （拡張現実感）広告や異なる情報・言語の表示など、幅広い応用が期待されます。実用化に向け株式会社富士通ソーシアルサイエンスラボラトリと共同研究を推進します。

近年、液晶ディスプレイの解像度は高解像度化し、4K（幅約4,000ピクセル）といった高解像度ディスプレイも一般化しつつあります。ディスプレイの同時表示技術は、画面分割や画面切り替えといった古典的手法の他に、メガネなし立体映像表示に使用される3D液晶技術を応用した複数視点表示技術が提案されていますが、通常の表示方式に対して解像度が半減し、暗くなる上に、視認位置が限られるといった弱点がありました。

白井准教授らは2010年にプロジェクションマッピングを応用した多重化隠蔽映像技術「Scritter」，「ScritterH」、2014年5月に第4世代多重化不可視技術「ExPixel」（エクスピクセル）を発表しました。ExPixelは、市販のパッシブ3Dディスプレイと互換のハードウェアで、偏光メガネ着脱により2チャンネルのコンテンツを自由に切り替えて視認できる技術です。聴覚障がい者向け字幕付与といった応用に有用であり、株式会社富士通ソーシアルサイエンスラボラトリとの共同で合理的配慮対応にむけた製品化試験が行われています。しかし、同技術を一般に広く利用するためには、メガネの着脱のわずらわしさや音声の切り替えが課題とされており、教室などより実際の使用環境での継続的な研究が必要な段階となっています。

このたび開発に成功した「ExField」技術は、ExPixelよりもさらに、一般に広く普及している液晶ディスプレイに利用できる技術で、偏光メガネのような装着物を必要としない多重化技術です。この技術は、大学院情報工学専攻の総合プロジェクトとして、従来からメガネが不要な3Dディスプレイを研究する谷中教授と白井研究室の大学院生・鈴木久貴さんとの共同で、レンチキュラー板と呼ばれるプラスチックレンズおよび、リアルタイム画像合成ソフトウェア(Unity)によって幅広い利用者が利用できる機材構成において実験を通して完成させました。これには、
(1)視聴者の方向に対して異なる映像を表示可能
(2)視聴者の方向に対して、正しい矩形が保たれた表示が可能
(3)メガネ等の装着物やセンシング不要
(4)コンテンツ視聴方向に正しい指向性音響
(5)既存のディスプレイにユーザによって着脱可能
といった特徴があります。キャラクターやロゴマークのような、表示比率が正しく表示されるべき図画を視点に依存せず正しく表示可能な、新しい感覚のディスプレイ技術です。
本技術の応用の可能性は広く、デジタルサイネージ、裸眼3D、映画館やライブイベント、図形にセンシティブなキャラクターやロゴ、交通標識、美術やミュージアム、リモートロボットの操作、多人数で同時体験可能なAR（拡張現実感）広告、印刷物への応用、といった用途が提案されています。既存のVRやARに利用されていたHMDやタブレットコンピュータといった装着物が不要になるため、インタラクティブ技術と組み合わせることでより広い応用が見込まれています。具体的にはスタジアム等の大型スクリーンへの利用で、利用者の着席位置に対して、視聴角度によって歪みがない画像や広告、応援するチームにあわせた情報や言語を表示できます。2020年に開催される東京オリンピックを背景に、3Dや4K/8Kといった高解像度ディスプレイに対して、強い推進力をもつ技術になることが期待されます。

この技術は幾徳学園神奈川工科大学により特許出願中であり、3月23～27日にフランスで開催される、ヨーロッパ最大のVRに関する国際会議Laval Virtualにおいて、そのプロトタイプである「GAD: Glassless Augmented Display for Public Signage」を一般・専門家向けに展示発表する予定です。国内では3月1日にTEPIAホール（東京・北青山）にて、連携企業とともに初の発表会を行います。研究成果発表会である「エンタテイメントシステム工学研究会」は、白井准教授の専門とする科学コミュニケーションやエンタテイメント工学技術から、株式会社富士通ソーシアルサイエンスラボラトリといった企業を軸に、教育、医療、福祉、交通、施設、インフラ等へ、オープンな産学連携活動で活躍する企業パートナーが集まり、次世代の「おもしろいモノづくり」を共有します。参加無料（要申込）。

■白井研究室研究成果発表会「エンタテイメントシステム工学研究会」（2016年3月1日開催）
詳細：http://blog.shirai.la/blog/2016/02/20160301/
申込：http://j.mp/TEPIA20160301
■白井研究室「ExField」プレスキット・解説・動画あり：http://blog.shirai.la/projects/exfield/
■白井研究室「ExPixel」：http://blog.shirai.la/projects/expixel/
■フランスLaval Virtual ：http://www.laval-virtual.org/

▼本件に関する問い合わせ先
神奈川工科大学工学教育研究推進機構担当　：山本博一
〒243-0292 神奈川県厚木市下荻野1030
Tel：　046-291-3218
E-mail：　ExField at shirai.la

株式会社富士通ソーシアルサイエンスラボラトリ 広報室
Tel：　044-739-1520
E-mail：　ssl-pro at cs.jp.fujitsu.com

【 商標について 】
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
以 上

]]>