投稿者: 望月 宥冶

【御礼】GTMF 2017にて Real Baby – Real Family をご体験頂いた皆様へ

2017年7月17日 (未分類)


7月14日、東京の秋葉原UDXで行われたGTMF2017にて、展示をしてきました。

今回は、赤ちゃんに刺さっていたVIVEコントローラをVIVEトラッカーに変更し、見た目が少し可愛くなりました(当社比)
また、その他変更点として、赤ちゃんの重さを「2000g弱→2600g」へと変更し、重さを本当の赤ちゃんへと近づけました。
赤ちゃんの重さについては、まだまだ改良の余地があり、ただ重くするだけではなく、赤ちゃんの比重を意識しながら重くする必要があると感じました。

今回の展示は科学の実験を兼ねた展示でしたので、体験者の皆さまにはアンケートに答えて頂きました(ご協力ありがとうございます)。
おかげさまで31名の方に回答して頂くことができました。こちらで収集した結果は、VR学会への論文投稿時に紹介できればと思っています。

 

チーム「明るい家族計画」は、今年の5月よりチーム名を改名し、「BabyFace」として活動しており、また、一緒にBabyを育ててくれる仲間を随時募集しています。赤ちゃん育児に熱い志を持つ方はご連絡下さい。

 

次の国内展示はCEDEC2017(8月30日~9月1日)です。
今回展示したものよりも、パワーアップしたBabyをお届けできる頑張りますので、ご声援の程、よろしくお願い致します。

(左)前回までの赤ちゃん
(右)進化した赤ちゃん

ミルクあげ体験中

アンケート収集中の様子

投稿者: 望月 宥冶

SIGGRAPHの最終投稿を終えました!!

2017年5月24日 (開発者日記)

SIGGRAPHの論文を書き終えました!

以下、PDF流し込み

“Real Baby – Real Family” – VR Entertainment Baby Interaction System

ABSTRACT
This research, “Real Baby – Real Family” – VR Entertainment Baby
Interaction System, is a project aimed at generating virtual baby
avatars from any 2D facial images. By pulling speci€c facial features
from photographs, analyzing them, and then merging the obtained
data together, the virtual baby avatars whose face closely resembles
that of subjects has been successfully created. Furthermore, this
experience contains various interactions with physical and virtual
baby avatar aimed at provoking thoughts regarding to solving social
issue of rapid aging society.

MOTIVATION
VR is a cross point of visual arts and experience. Character and/or
avatar must have interactivity in VR. Haptics and force feedbacks
are also important channel. If the emotion can be integrated and
implemented into a computer generated experience with a rich
channels, we can extend a meaning of current virtual reality contents.
this project, “Real Baby – Real Family” – VR Entertainment
Baby Interaction System, can bring user to a life with a baby which
has an audio, visual, and holdable tangible feedback. It may solve
declining birthrate by changing relation and understanding of birth
by a condenced moment of VR expernence with users’ baby.

RELATEDWORKS
Below are some of the previous researches that deals with child care
and/or real time image manipulation. Neuro-Baby[7], Infanoid[1],
Kismet[2], Cog[5], Babybot[3], YOTARO[4]. Amongst these researches
YOTARO can be considered a work that emulates a realistic
baby. YOTARO is a baby robot that can simulate a runny nose
and many different emotions. However, because YOTARO’s face
is that of an illustration and not a real-life portrait, it looks as if
the baby is not related to the subjects. this research generates a
baby from portraits of heterosexual or homosexual couples playing
it thus subjects get a baby looking just like the subjects.
Face2Face[6] is another research we look into. It uses monocular
facial reenactment in real-time to manipulate the target video into
acting out the facial motions of the source. this research deals
with real time video manipulation and not still image manipulation
however, and it can only manipulate the facial motion and not the
age progression of the portraits.

DESIGN
This VR research realized a virtual family enabling the subjects
to communicate with a baby through haptic, visual, and audio
feedback while wearing a head-mounted display (HMD). According
to our hypothesis, creating a believable baby resembling the subjects
will make them more emotionally invested with the experience.
Following this theory we created a virtual baby generated from
subjects’ photos. The most important part of this research; however,
is that we constructed a physical baby that can interact with the
audience. ”Real Baby – Real Family” is unique for allowing subjects
to (1) hug and interact with the baby physically, (2) creating a baby
looking just like the subjects, (3) contains audio components.

3.1 Holdable robot device
In order to hug a baby doll without experiencing discomfort while
wearing the HMD, there is a need for high precision position tracking
of the doll. However, this is hindered by image recognition
ability of an one eyed camera which slows down the position tracking
speed. Our proposed method uses multi-point image sensor
implemented in the controller of HTC Vive to enable high precision
position tracking. This synchronizes the physical and virtual
movement of the baby and allows subjects to hug the baby without
getting visually disoriented.

3.2 Baby Face Generator
Below are three characteristics of our baby face generator: (1)
Generating a face fitting the subjects’ skin tone, (2) Creating the
baby’s face from multiple photos, (3) Inverse the age of the subjects
to fit that of the baby.
3.2.1 Average Baby Face Generation. It determines the skin tone
of the baby by averaging the skin tone of the two photographs. This
system also morphs the colors and shapes of the faces using OpenCV.
Lastly it collects 16 baby face images from each of the following
categories using Google Image Search: Japanese, European, and
African baby.
3.2.2 Get Face Landmark Index. In order to morph the many
photographs, it is necessary to obtain the index. In the proposed
method, we use the Dlib of open source library, from the results that
have been learned by the data set iBUG-300-W, to get the points
of each part of the face. As a result of fig.1(Left), the eyes, noses,
mouths, eyebrows, feature points, and the 68 points with index
composed of contour, are all morphed automatically. Here it can be
seen that morphing are concentrated in the mouth and even parts
of the face.
3.2.3 Inverse Age Progression. Inverse age progression is the
process of generating a final image from the averaged age of portraits.
This is all done without collapsing baby portraits obtained
in Average Baby Face Generation. The implementation uses a Dlib
and OpenCV. It obtains feature points performed at Dlib, performs
image generation by passing the coordinate data of the feature
points OpenCV side. Dlib automatically sorts the feature points
obtained and treated them as a landmark. Its index is unchanged
in all of the facial images. By setting the contribution ratio with
respect to the index number, it is possible to process each selective
parts. The color components are produced by Average Baby Face
Generation, the present process is a concept that only features the
specified parts inherited. If carried out well as deformation of 3D
modeling, contour around the chin and other aspects should also
be considered. The generated facial image is used by Live2D.
3.3 Display of Haptics Synchronized with Voice
When holding the baby robot doll, the baby robot is strengthening
the interaction by vibro of Vibro transducer Vp2 (Vp210) which was
mounted in the baby doll. This vibro is controlled by voice. Only
by passing the band-pass filter using a Fourier transform effective
frequency band (5Hz, 200Hz) and extracted as the vibration data
onto an output audio can it perform real-time tactile presentation
through HMD attendant controller (Vive Controller). However,
since it’s the only vibrator that is built in the standard Vive controller,
we felt it’s electric current output which vibrates the baby
doll was insufficient after many exhibitions. To fix this problem we
mounted the Vp210 onto Vive controller to improve the oscillating
capability.
4 FUTURE OF REAL BABY
“Real Baby – Real Family” enable many meaningful interactions
with baby avatar such as hugging, giving milk, calming down, and
causing him/her to burp. Currently the project is being refined
according to feedback received during public exhibitions such as
the baby behaves differently from an actual baby and inclusion of
changing diaper being strongly desired due to the importance it
played in raising infants. It is our wish to enable aspiring parents
and parents-to-be to experience the joy and essence of caring for
a new-born as well as raising the question of nurturing the future
generation of humankind, and merging virtual baby with emotional
driven interactive scenarios aimed at provoking thoughts of raising
a baby may be the solution to rapid aging society nowadays.
Acknowledgement: Special thanks to Fujitsu Social Science Laboratory
for helping us realizing this project. VR Entertainment
Application Knowledge (VREAK) Center, and Kanagawa Institute
of Technology.

 

 

おわりに、PDFを流し込んだあとの文字化けを直す作業が心に響きました….

 

投稿者: 望月 宥冶

【御礼】ニコニコ超会議2017 Real Baby – Real Family をご体験頂いた皆様へ

2017年5月1日 (展示レポート)


4/29日、30日に幕張メッセで行われたイベント「ニコニコ超会議」にて展示をしてきました。

ニコニコ超会議でのRealBabyの試みとして、「開発者以外でも展示できるような設計」というところに焦点を絞り展示させて頂き、神奈川工科大学の情報メディア学科から6名ほど展示スタッフを募集し、展示させて頂きました。

チームメンバー以外に展示スタッフを任せるのは初めてだったため、展示が成立しなかったら…という不安もありましたが、優秀なメディア学科の展示スタッフのおかげで、展示をほとんど止めることなくニコニコ超会議を終えることができました。

RealBabyは今後のビジネス展開を見据えて、情報・メディア関係の方でなくても、展示のオペレータができるようなところまで行きたいと思っており、より多くの場所でReal Babyを体験して頂けるような仕組みを取ろうと考えております。

余談ですが、打ち上げでご飯を食べているときに株式会社ドワンゴの岩城様から超歌舞伎の裏側についてお聞きすることができました。

 

 

最後に関連するTwitterを紹介しておきます。

 

baby

投稿者: baby

「たった3分で子育て体験」ニコニコ超会議2017で”VR赤ちゃん”を公開実験,VR内広告の試みも.

2017年4月28日 (プレスリリース)

2017年4月27日 報道関係各位

「たった3分で子育て体験」ニコニコ超会議2017で”VR赤ちゃん”を公開実験,VR内広告の試みも.

PDFはこちらBaby-20170427

神奈川工科大学の学生チーム「明るい家族計画」が開発したVR赤ちゃんプロジェクト「Real Baby – Real Family」が、2017年4月29日,ニコニコ超会議2017「JapanVR Fest.」ゾーン(Hall 9)において公開実験を行います。この作品は2016年10月に行われた第24回国際学生対抗VRコンテスト(IVRC2016)ファイナリスト作品で、Laval Virtual Award 2017, ACM SIGGRAPH Award といった世界有数のVRフェスティバルにおいて重賞受賞をしています。

イオンレイクタウン「VRCenter」は本作品と研究協力を行っており、VRによる新しいライフスタイルの開発を行っており、このたびVR内広告で協力をいたします。

本文

没入感高く映像空間を体験できるバーチャルリアリティ技術(VR)は、近年エンタテイメント分野を中心に世界的に注目されています。VR赤ちゃんシミュレータ「Real Baby – Real Family」は、世界で最も歴史あるVR作品コンテスト「第24回国際学生対抗VRコンテスト(IVRC2016)」においてファイナリストとなった、神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のプロジェクトであり、現在は神奈川工科大学のエンタテイメントVRの重点研究プロジェクト「VREAK」支援プロジェクトとして活動しています。

ニコニコ超会議は株式会社ドワンゴによって開催されているネット動画コミュニティのお祭りイベントで、昨年度の「ニコニコ超会議2016」においては15万2561人のリアル来場者が来場するメガフェスティバルです。

 

「Real Baby – Real Family」について

神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のVRプロジェクトで、「VRで愛を伝える」ことをテーマに「VR内で子供を作って育てる作品」です。

ディープラーニングを使った顔画像処理により体験者自身の顔画像を元に3D空間で自身の顔の特徴を持った赤ちゃんに出会うことが可能です。この赤ちゃんはシンプルな人工知能により、泣く、笑う、見つめるなどの体験者に対する反応を示し、体験者は視覚・聴覚・触覚をフルに使い、赤ちゃんが人々に与える影響をVR空間上で短時間に体験することが可能になっています。このVRならではの体験を通して、出産や育児について前向きに考える機会を与える設計が評価されています。

2016年10月29〜30日に日本科学未来館において行われたIVRC2016決勝大会にて、応募100作品中で唯一となる国際賞「Laval Virtual Award」を受賞し、また本受賞によって招待された欧州最大規模のVRフェスティバル・第19回「Laval Virtual 2017」(2017年3月22〜26日/フランス・ラヴァル市)において、17,700人の専門家向けおよび一般参加者向けの展示を行い、さらに240社の出展者から唯一となる賞として、世界最大かつ44年の歴史を持つCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)における最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において国際発表予定です。

本プロジェクトは、学生コンテストが終了したのち、現在神奈川工科大学 情報学部 情報メディア学科 白井暁彦准教授の指導の下、神奈川工科大学のエンタテイメントVRの重点研究プロジェクト「VREAK」支援プロジェクトとして活動しています。VRエンタテイメントの新しい市場を拡張する研究として基礎研究及び開発が続けられています。

 

イオンリテール株式会社
「VRCenter」とのコラボレーション

 

国内・国外,様々な展示を通した評価から、「Real Baby – Real Family」は、ただの人形や映像と異なり「感情に訴える」という映像中心の既存VRから、「感情の設計」という新たな可能性を探求しており、幅広い体験者に影響を及ぼす可能性が評価されています。

イオンレイクタウン「VRCenter」でのフィールドデータから、世界から注目されている日本の少子高齢化問題にアプローチする新たなVRサービスの開発を共同で研究しています。

子供を産むことについてシリアスに考えづらい若者に向けた「おもしろい体験を通したシミュレーション」,「育児エンタテイメント」といったカジュアルなゲーミフィケーション効果が確認されており、ショッピングモールやデートスポットなどにおけるプリントシール機感覚の若者向けエンタテイメントVR体験や、少子高齢化問題へアプローチするための新規サービスのための商品提案・市場開拓の手がかりとなるマーケットリサーチ及び啓蒙のための公開実験として、このたびのニコニコ超会議2017でのフィールドデータの取得を行います。

ご来場の皆様のご体験・ご協力をお願いいたします。

 

お問い合わせ先

神奈川工科大学 情報学部 情報メディア学科 白井研究室

「Real Baby – Real Family」プロジェクト

Web https://blog.shirai.la/baby/ メール [email protected]

<写真およびキャプション>

Photo01:「Real Baby – Real Family」代表写真

「Real Baby - Real Family」体験中の視界、体験者自身の顔画像から生成されたVR赤ちゃん

 

Photo02:「Real Baby – Real Family」体験中の視界、体験者自身の顔画像から生成されたVR赤ちゃん

Photo03:「Real Baby - Real Family」体験中、哺乳瓶からミルクをあげています。赤ちゃんが笑い、手には振動が伝わります。

Photo03:「Real Baby – Real Family」体験中、哺乳瓶からミルクをあげています。赤ちゃんが笑い、手には振動が伝わります。

Photo04:「Real Baby – Real Family」ポスター(日本語版)

Photo05:「VRCenter」および「AEON」のVR内広告

Photo06:体験者の顔画像から生成されたVR赤ちゃんとVR内広告

 

 

 

baby

投稿者: baby

VRCenterと研究協力を行う「Real Baby – Real Family」 ニコニコ超会議2017にて公開実験のお知らせ

2017年4月28日 (プレスリリース)

こちらは イオンレイクタウン「VR Center」PR 事務局 によるプレスリリース再掲です(PDFはこちら Baby-Press-20170427 )

報道関係者各位

2017年4月吉日
イオンレイクタウン「VR Center」PR 事務局

「たった3分で子育て体験」、VRCenterにて、ビジネススモデル共同実証実験を行った
神奈川工科大学がニコニコ超会議2017に登場、”VR赤ちゃん”を公開実験。

VRCenterと研究協力を行う「Real Baby – Real Family」
ニコニコ超会議2017にて公開実験のお知らせ

2017年4月29日(土)
於:幕張メッセ「JapanVR Fest.」ゾーン(Hall 9)

 

日本最大級の広さを有する、常設型VR専門エンタテインメント施設イオンレイクタウン「VR Center」は、神奈川工科大学とVRによる新しいライフスタイルの開発を行っており、このたびのニコニコ超会議2017公開実験にてVR内広告の協力を行うことをお知らせいたします。

【「Real Baby – Real Family」とは】

神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のVRプロジェクトで、「VRで愛を伝える」ことをテーマに「VR内で子供を作って育てる作品」です。
ディープラーニングを使った顔画像処理により体験者自身の顔画像を元に3D空間で自身の顔の特徴を持った赤ちゃんに出会うことが可能です。この赤ちゃんはシンプルな人工知能により、泣く、笑う、見つめるなどの体験者に対する反応を示し、体験者は視覚・聴覚・触覚をフルに使い、赤ちゃんが人々に与える影響をVR空間上で短時間に体験することが可能になっています。このVRならではの体験を通して、出産や育児について前向きに考える機会を与える設計が評価されています。
2016年10月29〜30日に日本科学未来館において行われたIVRC2016決勝大会にて、応募100作品中で唯一となる国際賞「Laval Virtual Award」を受賞し、また本受賞によって招待された欧州最大規模のVRフェスティバル・第19回「Laval Virtual 2017」(2017年3月22〜26日/フランス・ラヴァル市)において、17,700人の専門家向けおよび一般参加者向けの展示を行い、さらに240社の出展者から唯一となる賞として、世界最大かつ44年の歴史を持つCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)における最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において国際発表予定です。
本プロジェクトは、学生コンテストが終了したのち、現在神奈川工科大学 情報学部 情報メディア学科 白井暁彦准教授の指導の下、神奈川工科大学のエンタテイメントVRの重点研究プロジェクト「VREAK」支援プロジェクトとして活動しています。VRエンタテイメントの新しい市場を拡張する研究として基礎研究及び開発が続けられています。

【イオンレイクタウン「VRCenter」とのコラボレーション】

国内・国外,様々な展示を通した評価から、「Real Baby – Real Family」は、ただの人形や映像と異なり「感情に訴える」という映像中心の既存VRから、「感情の設計」という新たな可能性を探求しており、幅広い体験者に影響を及ぼす可能性が評価されています。イオンレイクタウン「VRCenter」でのフィールドデータから、世界から注目されている日本の少子高齢化問題にアプローチする新たなVRサービスの開発を共同で研究しています。
子供を産むことについてシリアスに考えづらい若者に向けた「おもしろい体験を通したシミュレーション」、「育児エンタテイメント」といったカジュアルなゲーミフィケーション効果が確認されており、ショッピングモールやデートスポットなどにおけるプリントシール機感覚の若者向けエンタテイメントVR体験や、少子高齢化問題へアプローチするための新規サービスのための商品提案・市場開拓の手がかりとなるマーケットリサーチ及び啓蒙のための公開実験として、このたびのニコニコ超会議2017でのフィールドデータの取得を行います。

ご来場の皆様のご体験・ご協力をお願いいたします。

【お問い合わせ先】

神奈川工科大学 情報学部 情報メディア学科 白井研究室
「Real Baby – Real Family」プロジェクト
Web blog.shirai.la/baby/ メール [email protected]

イオンレイクタウン「VR Center」PR事務局担当:井関
TEL(FAX):048-930-7437 MAIL: [email protected]
www.vrcenter.jp/

以上

baby

投稿者: baby

4/29,幕張メッセ「ニコニコ超会議2017」でVR赤ちゃんつくりませんか? #chokaigi #超会議

2017年4月12日 (展示情報)

2017年4月29,30日に幕張メッセにて開催される「ニコニコ超会議2017」Hall9 Japan VR Fest.にて「Real Baby – Real Family」プロジェクトを1日だけ出展します!

ニコニコ超会議2017
www.chokaigi.jp/

ニコニコ超会議2017 ユーザー応援企画「Japan VR Fest.」

VR版コミケ、JapanVR Fest.が超会議に出張!
商業ベースに乗りにくいキレッキレのVRを集めます。

4/29枠にて展示が決定いたしました!
Japan VR Fest.さま ご採択ありがとうございます

2017年 ニコニコ超会議 出張版

2017/4/29の「Japan VR Fest.」配置図

こんな素晴らしい面々と展示させていただけるなんて…!
そろそろ「明るい家族計画」ってチーム名が恥ずかしくなってきた感じですが頑張ります。

ニコニコ動画での解説ビデオも公開しております☆
nico.ms/sm30838757

会場にてお会いいたしましょう!
なお、展示ホールは、HALL 9 となっております。

学内中心ですが展示ヘルパースタッフも募集中です、詳しくはTwitter @IVRC_RealBaby にてお問い合わせください。
更新情報もこちらのページとTwitterで発信していきます!

Real Baby – Real Family PV

baby

投稿者: baby

「Real Baby – Real Family」がACM SIGGRAPH Awardを受賞

2017年4月12日 (受賞)

神奈川工科大学 3年生による “VR赤ちゃん”「Real Baby – Real Family」が国際賞を連続受賞

神奈川工科大学の学部3年生らが開発したVR赤ちゃんプロジェクト「Real Baby – Real Family」が、2016年10月に行われた第24回国際学生対抗VRコンテスト(IVRC2016)にて100作品中唯一となる国際賞「Laval Virtual Award」を受賞した。本受賞によって招待された欧州最大規模のVRフェスティバル「Laval Virtual 2017」(フランス・ラヴァル市)において、世界最大かつ最も歴史あるCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)で展示を行う。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなった。

プレスリリース形式のPDF・画像のダウンロードはこちら

Laval Virtual 2017授賞式における「ACM SIGGRAPH Award」受賞の様子

没入感高く映像空間を体験できるバーチャルリアリティ技術(VR)は、近年エンタテイメント分野を中心に世界的に注目されています。VR赤ちゃんシミュレータ「Real Baby – Real Family」は、世界で最も歴史あるVR作品コンテスト「第24回国際学生対抗VRコンテスト(IVRC2016)」においてファイナリストとなった、神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のプロジェクトです。2016年10月29~30日に日本科学未来館において行われたIVRC2016決勝大会にて、応募100作品中で唯一となる国際賞「Laval Virtual Award」を受賞しました。本受賞によって招待された欧州最大規模のVRフェスティバル・第19回「Laval Virtual 2017」(2017年3月22~26日/フランス・ラヴァル市)において、17,700人の専門家向けおよび一般参加者向けの展示を行いました。さらに、240社の出展者から唯一となる賞として、世界最大かつ44年の歴史を持つCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)で展示を行うことが決定しました。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなりました。

「Real Baby – Real Family」代表写真

本プロジェクトは、学生コンテストが終了したのち、現在神奈川工科大学 情報学部 情報メディア学科 白井暁彦准教授の指導の下、VRエンタテイメントの新しい市場を拡張する研究として基礎研究及び開発が続けられています。
ディープラーニングを使った顔画像処理により体験者自身の顔画像を元に3D空間で自身の顔の特徴を持った赤ちゃんに出会うことが可能です。この赤ちゃんはシンプルな人工知能により、泣く、笑う、見つめるなどの体験者に対する反応を示し、体験者は視覚・聴覚・触覚をフルに使い、赤ちゃんが人々に与える影響をVR空間上で短時間に体験することが可能になっています。このVRならではの体験を通して、出産や育児について前向きに考える機会を与える設計が評価されています。
国内および国際展示において得られた経験として、「VR赤ちゃん」はただの人形や映像と異なり「感情に訴える」という映像中心の既存VRから、「感情の設計」という新たな可能性を探求しており、幅広い体験者に影響を及ぼす可能性が評価されています。また日本の少子高齢化問題は世界から注目されており、出産経験のない若い情報メディア分野の学生が先端技術を使い、自らVR作品を開発して社会にアプローチしている点も評価されています。様々な国や文化圏の体験者より入手したフィードバックから、子供を産むことについてシリアスに考えづらい若者に向けた「おもしろい体験を通したシミュレーション」,「育児エンタテイメント」といったカジュアルなゲーミフィケーション効果が確認されており、近い将来、商業化が期待されています。ショッピングモールやデートスポットなどにおけるプリントシール機感覚の若者向けエンタテイメントVR体験を提供し、少子高齢化問題へアプローチするための新規サービスや商品提案・市場開拓の手がかりとなるマーケットリサーチ及び啓蒙を行うツールとして、様々な企業とコラボレーションを行い、生きたフィールドデータを取得しています。

IVRC2016決勝大会授賞式における「Laval Virtual Award」受賞

「Real Baby – Real Family」ポスター(英語版)

 

「Real Baby – Real Family」体験中、哺乳瓶からミルクをあげています。赤ちゃんが笑い、手には振動が伝わります。

「Real Baby – Real Family」ポスター(日本語版)

Laval Virtual 2017における展示の様子(縦)

Laval Virtual 2017における展示の様子(横)

東田 茉莉花

投稿者: 東田 茉莉花

Newアートワーク!

2017年4月12日 (アートワーク)

bonjour, tout le monde!グラフィク担当の東田でございます.

さて,LavalVirtualも終わってしまいましたが,Babyチームの半分(リーダー望月,プログラマ浅野,翻訳家Rex)は日本ではなく、現地フランスにてLavalの準備をしていました.

私はポスターやリーフレットやらそのあたりを制作.……進捗が丸わかりになる部分ですね!ヒィ!

本日はそのあたりをお伝えします(*˘︶˘*).。.:*♡

 

旅行の様子は個人ブログで公開しています(露骨な宣伝)のでお時間の有る方はどうぞ.

残りのエントリーを読む →

投稿者: 望月 宥冶

Japan VR fest.展示

2017年2月27日 (展示レポート)

こんにちは。望月です。

2月25日に行われたイベントJapan VR Fest.に参加し、「Real Baby – Real Family」を展示させて頂きました。

今回はJapan VR festでの展示の様子をお届け致します。

会場案内

私たちのチームは前日設営には参加せず当日設営だったため、朝8:00に会場入りするために、
大学を朝5:00に出発しなければならなかったため、なかなかハードでした。

設営の様子

筺体設営完了

しかし、筺体まで組んだところで、「あれ?赤ちゃんベットを止めるネジと、パソコンの映像端子がない..」ということに気づき、10:00に秋葉原を買い出しで駆け回ることになりましたが、10:30には買い出しを終えて、無事、設営完了することができました。今回の失敗を次の展示(インタラクション2017)で繰り返さないためにも、機材リスト作成(ケーブル1本単位)は徹底したいですね。あとは、荷造りを1人ではなく、数人でこなすと「○○入れた?」などの確認の会話が飛び交い忘れ物も無くなるのではないでしょうか。

展示は11:00から開始し、1,2週間前にお父さんになった方や、カップルでJapan VR fest.を楽しみに来られた方、家族連れで来られた方、外国人の親子、2次元の中の人、など、言語を越え、次元も越えて多くの方々に体験して頂くことができました。(13未満のお子様には保護者の方に斜視になるおそれを説明したうえで、Viveのバンドを締めない状態で体験して頂いております)

イクメン教習

子どもが赤ちゃんを育てる

体験の中身に興味津々

カップルで体験

外国人の方も日本の育児体験

外国人の子どもも育児体験

次元を越えた育児体験

 

 

展示を終えて大学に帰り、Twitterで「赤ちゃん VR」と検索し眺めていたら、朝日新聞デジタル編集部記者の方からとても励まされるようなコメントを頂いておりましたので、ご紹介します。

私たちはこの体験を通して「家族愛を伝えたい」という思いから制作を始めました。
また、学会に向けて論文を書く中で「家族愛」では技術的な論文を書けないため、「ナーシングシミュレータ」や「エンタテインメントとしての在り方」を探っている最中の展示で、「感情・本能のハック」、「いてもたってもいられない感情が、自分の深いところから湧いてくる」といった感想を頂き、技術だけでは語れない体験がそこに在り、私たちはVRを通してそれを伝えていける誇らしいことにチャレンジしているのだと実感しました。

 

Japan VR fest.のレポートは以上で終わりです。
次はインタラクション2017でお会いしましょう。

投稿者: 望月 宥冶

2017年春の「Real Baby」展示情報

2017年2月23日 (展示情報)

こんにちは。望月です。

今回は2017年2〜3月の展示情報についてお知らせ致します。
IVRCよりパワーアップした展示をお送りするので、是非遊びに来てください。

Japan VR fest

日時: 2017年 2月 25日(土) 11:00~18:00 (撤収作業の都合上18:00前に体験を終了する可能性があります。)
場所: ベルサール秋葉原 2階 アキバ大好き祭内

昨年度まではOculus Festivalという名称で開催されていたイベントですが、
HTC Viveが発売されたことを受け、Japan VR festに改名されたイベントです。
都内で開催され、多くのインディーゲーム作品が集い、そのVRゲームを無料で体験することができます。
また、私たちの作品を学会以外の場所で体験できる数少ない機会となっております。是非お越し下さい。ブース38番でお待ちしております。

インタラクション2017

日時: 2017年 3月 2日(木)~4日(土) 10:00~
場所: 明治大学中野キャンパス

情報処理学会主催のシンボジウムです。
学会発表ということもあり、口頭発表や展示審査が中心ですが、インタラクション2017主催にあたり
「一般の参加者(家族連れや中高生など)の方にもインタラクション研究の最前線を体験頂く機会を提供する」
ということを視野に入れて開催されたイベントでもありますので、気兼ねなくお越しください。

3日間で異なる展示・発表を行っており、Babyの体験が行えるのは3月4日(土) 12:30~14:30 6階 ブース番号55での展示のみとなっております。
プログラムをご覧のうえ、お越しくださいますようお願い致します。

Laval Virtual 2017

日時: 2017年 3月 22日(木)~26日(土) 10:00~
場所: Laval Place de Hercé

Babyの初の国際展示になっております。欧州最大のVRイベント、Laval Virtual日本からお越しいただくことは少々困難な場所ではありますが、
このBlogを通じてイベントの様子や、現地での活動の様子を張り切ってリポートしていこうと思いますので、ご期待ください。

また、新たにポスターを制作したので、こちらも是非ご覧ください。

投稿者: 望月 宥冶

論文投稿をして…

2017年2月22日 (開発者日記)

こんにちは。望月です。

本日は、決勝大会後から取り組んでいた論文執筆について報告も兼ねて書いていきます。
論文を書く目的として、以下のようなことを考えながら取り組みました。

  • 1年かけて学んできた技術をまとめる
  • プロジェクトの今後を整理する
  • 3年生のうちから技術文章の書き方について学ぶ

実際に書こうとしてみると、どう書き出していいかわからず、
IVRCの企画書を読み返したり、別の論文を見てみたりと、技術論文を書く以前に「言語化する」というところで心苦しい思いを沢山しました。
なので、今回はこういったところから、「私が思う3年生に送る論文の書き方」と称して、初の論文執筆でなかなか書けない人や、もしかしたら卒論で苦しんでる4年生の方がこのサイトを見て、少しでも助けになれば本望です。

まず、論文の構成としては、以下のようなものが良いと思います。

  1. モチベーション
  2. 先行研究
  3. 理論
  4. 実験
  5. 結果・考察
  6. おわりに

さらに1章ずつ噛み砕いていくと、

モチベーション

初めて書くときは、モチベーションと言われてもパッとしないのに加えて、Google先生に聞いても、「導入を書く」くらいのことしか出てこないと思いますが、ここで書くべきことは「君はなぜこの研究をしたの?」と質問されたときにあなたが答える回答を書く場所で、「こういう問題を解決したかったから」、「こういう作品があったら素敵だ」ということが書ければいいと思います。私たちの論文では、おそらく技術論文に相応しくないであろう「愛」について書いてあります。

先行研究

参考にした技術や類似の先行研究を書きます。私たちの作品はIVRC発ということもあり、同じくIVRC発であるYOTAROを先行研究として書かせて頂きました。また、ここでは、「先行研究ではこうであったが、私たちの研究ではこういうことが可能である」ということを明記する必要があると思います。

理論

こちらは、学んできたことのまとめになると思います。私たちの顔画像の技術を元に説明すると、「平均顔用意→顔画像の特徴点取得→若年化モーフィング」といったようなことを分かりやすく説明できれば良いと思います。

実験・実装

こちらでは、システム構成図を元に、作成したコンテンツやアプリケーションについて説明します。私たちの作品は、Live2Dを用いた顔の表情変化について、音・画像・触覚を用いたインタラクションについての2つ要素があるため、システム構成図を2つ用意して説明しております。理論で示した内容でなにを作ったのかというところを書くところだと思います。

結果・考察

こちらでは、実験から得られた結果を提示します。今回はIVRCやHEAT 5thといった展示を通して学んだこと、アンケート結果、今後このように発展させることができるだろうというところを書いています。

おわりに

ここは要旨と同じ内容が来ると思っています。今回の論文では、今後のプロジェクトの方向性として2つの柱を立てていたため、そのプロジェクト始動時に、その足掛かりとして役に立つような、先行研究としてこの論文が載るような記述で締めくくっています。

以上、ざっくりではありますが、私が冬、春休み返上で勤めていた論文執筆の成果になります。そして、書きあげた論文は声に出して読み、読みにくいところや、内容が飛躍したところなどを補完し、ブラッシュアップを重ねる作業が大切だと思います。
また、この論文は情報処理学会シンボジウム インタラクション2017、Laval Virtual 2017 (ReVolution,VRIC)で採択されており、展示・発表が決定しています。

投稿者: 浅野 隆弥

赤ちゃんの顔が良くなりました

2016年12月16日 (開発者日記)

こんにちは
主にUnity担当の浅野です。初投稿です。

今回は赤ちゃんの顔のテクスチャがだいぶ良くなったのでその報告です。

実は赤ちゃんの顔のテクスチャを作成するに当たりLive2Dを使用しています。
というのも赤ちゃんの顔の表情を変化させたいが、体験者によって顔のベースが変わってしまうため、
テクスチャの差分を複数枚用意し、それを変化させること(そもそもそんなノウハウは無い)
3Dモデルの頂点を動かして表情を変化させること(これももちろんノウハウは無い)
目や口のパーツの位置や形が変わってしまってできないため、どうしようか悩んだ結果Live2D+RenderTextureで
動的にテクスチャを作るというところに落ち着きました。
Live2Dだとパーツごとに素材となるテクスチャを分けられるため、位置ズレの影響を受けないというのが大きかったです。
そのために顔画像担当の錦澤君の仕事を増やしてしまったのはまた別の話

さて本題です。
今までの赤ちゃんの顔画像ではこの写真のように若干ですが目のところに四角形の縁が出ていました。
この画像だと目頭らへんが結構はっきりと出ています。

で、もっと分かりやすい画像を出すとこんな感じです。


2枚目の画像を見てもらえれば分かると思うのですがめちゃくちゃ目立ちます。
体験してして下さった方にも目の縁が気になると言われてしまっていたので直したいと思っていたのですが、
そもそもなんでこんな縁が出るのかがまったく分からず(おそらくUnityの仕様)だいぶ苦戦しました。

まず始めにやったことはテクスチャの設定でTextureTypeをAdvancedに
AlphaIsTransparencyをtrueにしました。
まぁその結果が上の目の画像なんですけどね。
ちなみにLive2Dの公式でもこの方法が推奨されているそうです。

で、やっぱり目立つってなりまして、最終的にテクスチャそのもののα値を弄りました。
テクスチャの縁の色のα値をグラデーションさせてこんな感じになりました。

Unityで画像処理をしているので当然のように重たいです。Awakeで処理させてるんで許してください!

まぁなんだかんだでかなり綺麗になりました。

あと赤ちゃんの顔周りで残っている課題としては顔以外の肌色の部分が目立つってところぐらいですかね
一応実装の目処はたっているのでLive2Dで大きな変更があったときに直そうと思います。

東田 茉莉花

投稿者: 東田 茉莉花

HEATまでの計画

2016年11月23日 (定例会報告)

はじめまして,東田です.数ヶ月前からモデラーとしてこっそり参加しています.

おそらくこのメンバーの中では一番技術的知識の疎い自信があります!(誇れません)
付け焼き刃の知識でお伝えするのもよろしくないでしょうということで,基本的に
難しい説明は他の四人に任せて,私は噛み砕いた説明に特化しようと思っています.
よろしくお願いします.

さて,昨日11/22の定例会ですが,12/3のHEAT渋谷に向けての改修の話を行いました.
途中,企業の方からもレビューを頂きました.その中で発見した今後の改善点等のまとめです.

今日話したこと(今後行いたい事,考慮すべきこと)

・システムを自動化したい

全部とは行かずとも,一人で回せる設計にしたい.

・体験者に対して外から話しかけられると都合が悪いかも

レビューを見ていてのメンバーの感想.

・ これを(周囲との対話を)許容したコンテンツにするのか?
・ それとも制約として(対話を回避させる何かを)取り付けるか?
・ ストレス無く遊べるのを優先させる

・体験者の見ている映像が見えている方が(周りは)楽しいのでは?

現状では見せることについて特段意識はしていない(今回のレビューではスタッフ側のモニターを見ていただいていた)

・Viveのコントローラの振動が思い通りに行かない

Viveのコントローラで扱える振動は,正の向きのみになっている.
これでは不自然なので,正負を交互に動く波形に変えたい.

→モーターに取り付ける正負の向きをそれぞれ逆にして使う.

・体験者に対してアンケートを取るのはどうか?

・ゲーム開発者として,コンテンツの方向性について
・こういうペルソナに受けそう!
・赤ちゃんを育てたことは有りますか?
・可愛いと感じることができましたか?また,それはどんなときからですか?

・ページのリニューアル

・コンテンツの説明
・受賞歴
・発表予定
・お問い合わせ
・メンバー

HEATまでの目標

・ベビーベッドの横にミルク置台を作る

→アニメーションとモデルを変更に合わせて最適化(位置や大きさ等)

投稿者: 錦澤 竜也

dlibでOpenCVが使えるかもしれない件

2016年11月15日 (開発者日記)

dlibのメソッド見てたらこんなん見つけた

 

dlib

・・・これ完全にOpenCVと親和性あるんじゃね?

 

 

試してみたらマジでありました。

後日コードを載せます。

投稿者: 我妻 大樹

IVRC決勝大会振り返り

2016年11月9日 (開発者日記)

こんにちは、ハード担当の我妻と代表の望月です。
今回は決勝大会を振り返ってみたいと思います。

———– 前日(10/28)———–
開場時間が10:00~なのでなるべく早く会場入りしたいところですが、本厚木にある大学から東京テレポートには二時間かかります。
メンバー全員が寝坊しない、現実的な時間(しても起こしに行けるくらいの時間?)として11時過ぎに会場入りしました。

14938304_1226970304037524_3831831029877044008_n
自分は初めて日本科学未来館にいったのですが、ガラス張りできれいな建物でした。
今回は、通常の入り口でなはなく出展者入り口で入ります。

先に会場に送っていた荷物を受け取り、骨組みを完成させて、いったんお昼にしました。近くにコンビニがあり助かります!
14900577_1226970097370878_7481563072560943363_n

ということで、お昼過ぎからブースの設営を再開します。こんな感じでブースの設営が終わりました。大体16時頃だったと思います。

 

14937178_1226969744037580_6285464703752365643_n

が、チームのメンバーにやってもらうと不親切さが目立つと言われました…

プログラム的なバグは前日までに直していたのですが体験の修正はしていなかったのでここにきて…という気持ちはありましたが
会場内でできる限りわかりやすくしようと修正しました。
しかし、撤収時間は20:30までなので限られた時間ではありましたが、なんとかある程度まで修正を間に合わせることができました。

この日は20時過ぎに解散して次の日に備えることにしました。

———– 審査当日(10/29)———–
この日は10:00~12:00展示審査なので、すこし早めに集まります。
8:30に会場入りをし最後の動作テストと、体験のフローを確認しました。

審査ではVRコンテンツでの視線誘導を促す方法や、顔画像についての学術的な意見を頂き、この展示を通して「Real baby / Real family」の発展に繋がる非常に大切な時間となりました。

審査時間が終わってからは、IVRCブースも一般開放され、たくさんの方にコンテンツを体験して頂くことが出来ました。
私たちのコンテンツは、友達同士や家族で来られた方に非常に好感触でした!
私たちのブースを去った後にも体験者にプレゼントした母子手帳に載せてある赤ちゃん画像を見比べて楽しんでいる様子が見ることができました。
夏からこのコンテンツを制作してきて良かったと思える最高の瞬間だったと思います。
また、体験者の中で二次元画像から推測した赤ちゃんを作りたいという方が来られ、私たちの企画の新たな切り口を発見することができました。

16:00からは表彰式がありました。
14937233_1226969704037584_4415885491108741627_n

今年は多くの協賛企業賞がありましたが、残念ながら私たちは受賞することができませんでした。
しかし、ほかのチームの作品も私たち同様に予選会からブラッシュアップを重ねており、さすがだと思うばかりでした。
授賞式終盤、企業賞の次に、フランスのLavalで展示することができる大変栄誉ある賞、Laval virtual賞の発表がありました。

ここまで、VR学会賞や協賛企業賞を受賞できなく、何一つとして賞をとって帰れないんじゃないかという思いや、
自分たちの英語力やフランスの示唆、Laval virtualのテーマとの関係性から受賞できるかもしれないという思いの中、
Laval virtualの委員であるLaurentさんに呼ばれたのは私たちでした。嬉しさと驚きを感じながら壇上に上がりました。
IVRCのグランプリは逃してしまいましたが、それ以上のものを勝ち取ることができたと思います。

14900359_1226969630704258_2164181498199001940_n
その後はIVRCの懇談会があり、私たちチームのスポンサーとして作品を支えてくれた富士通SSLの方や、IVRCの協賛企業の方、
夏からずっと私たちをずっと支えてきてくれた先輩方に挨拶し、また、他のチームの方とも交流を深めることが出来ました。

14947427_1226969430704278_7521713163392821016_n

———– 一般開放日(10/30)———–
一般開放日は多くの方に私たちの企画を体験して頂くため、赤ちゃんをあやす体験のほかに2人の顔から赤ちゃんの顔を推測するのみのブースを作りました。
そこで私たちが使用していたカメラの画角の狭さが良い方向に働き、撮影する際には体験者さん2人にとても近づいていただきました。
ふと思ったのですが、それだけでコミュニケーションツールとして大いに機能するのではないかと思いました。
img_3490

Laval virtual賞をいただいた記念として、Laurentさんと写真を撮らせていただきました。
Laurentさんに、「もっといろいろなことを経験して、もっともっとこの作品を向上してほしい!」と激励されました。
この言葉を胸に3月のLaval virtualにむけて、「Real baby/ Real family」をよくしていきます!
14947826_1226969157370972_6868130758833838473_n14907208_1226969234037631_5096206162981477767_n

この日はIVRC2016として作品を展示するのは最後ということもあり、他の作品を体験しに行きました。
どの作品も予選よりも強化されており、開発欲のそそられる作品ばかりでした。
また、他のIVRCチームの方にも私たちの作品を体験して頂き、交流を深めることができました。
来年も日本科学未来館で展示ができるように、さらなるスキルアップを目指したいです。

IVRC実行委員会や協賛企業の方々、個人的ではありますがスポンサーの富士通SSLのご協力のお陰で盛会に終わることができました。
また「Real baby / Real family」も100人を超える多くの方々に体験して頂き、開発者としても嬉しい限りです。
「Real baby / Real family」はLavalに向けて進化できるように、これからも尽力致しますので、ご支援ご協力の程、宜しくお願いします。

投稿者: 望月 宥冶

IVRC予選大会

2016年10月23日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

少し遅くなりましたが、IVRC予選会の様子をお届けします。

————————————前日設営日———————————–
朝早く大学に集合し、コンテンツで使用する紙を確保するために、A4用紙を持ち寄り、裁断機でA5サイズに…
余裕をもって大学を出発し、秋葉原でブースを彩るためのフォトフレームや写真用紙を購入。
移動中の荷物がとても重く、会場に着いた頃にはメンバー全員疲れきっていました。

予定時間より早く機材が届いていたので、到着後すぐに筺体の組み立てに入ることができました。
筺体

筺体組み立て後は宿に帰り、印刷物の確認をしました。
しかしプリンタの調子が悪く、原因を追及したところ、移動時起きたインクの偏りと自作したA5の紙が悪さをしていたので、紙を市販のものにして、プリンタをクリーニングしたら正常に動いてくれました。

————————————1日目(審査日)———————————–

会場に到着したら、プリンタを設置しなおし一度クリーニング。
しかし、コンテンツを動かしてみるとViveがデフォルト画面のまま動かない不具合…
迷った末、我妻君のVR環境対応のノートPCを使うことになりました。
やはり、高い部品や製品であっても予備があると安心できます。

この日はプレゼンテーションの日でした。
私たちのコンテンツはインストラクター2~3人推奨でしたが、プレゼンテーション中は我妻君が頑張ってくれました。

プレゼン中に企業の方が沢山ブースに来たようで、このときIVRCシールをねだっておけば…と少し後悔しました。
また、外国人の方に英語対応する機会があったようで、今後のことを含めて、英語でのコンテンツ説明も練習しなければならないと思いました。

後半は東京ゲームショウの方の展示設営に向かっていた浅野君と合流し、4人でコンテンツを回すことができました。

一日目終了後、メイン機でViveが動かない問題を解決するために、パソコンをホテルに持ち帰り整備しました。
また、チームの別働隊(望月、浅野君)で秋葉原に行き、ヘッドホンを購入し、体験の回転効率の向上を図りました。

————————————2日目(結果発表日)———————————–

2日目は1日目に持って帰ったメイン機の設営と試運転のため、朝早く会場に行き入り口待機
会場でも無事 メイン機でViveが動き2日目からはデスクトップPCでコンテンツを動かすことができました。

作品コンセプト「これはあなたの未来の赤ちゃんに会えるVRメディアアート作品です

一般の方にはとても好印象で、たくさんの方にコンテンツを体験して頂けました。
後半は体験者への対応に慣れてきましたが、午前中コンテンツを回していただけなのに、とても疲れました。

この日は夕方から結果発表があったので、それまで待機。

結果は10位入賞し、決勝大会進出!!

その後はつくばの麺や 蒼 (AOI)で祝賀会ラーメン

ホテル到着後この日はひさびさの?自由時間
ホテルでテレビ見ながらゆっくりできました。
IVRC予選

%e8%9c%80%e5%92%8f%e6%82%84-2016-09-20-12-20-25

————————————3日目(一般公開日)———————————–
3日目(一般公開日)

チームメンバーで1人ずつ30分間の休憩を回しながら気になるIVRC作品探索
その後1時間休憩をはさんで、お昼兼IVRC作品探索兼企業出展を見る時間に

耳トンネル、しょくどう、ブラジル、浮世絵

多くの方にReal baby / Real family を紹介しました。
2人プレイで体験されていく方はやはり反応が良く、ブースを出たあとに証明書を見せ合ったりしているところが私のモチベーションを高くさせてくれます。
また、企業の方との名刺交換や、大学生の方や、御隣のブース、御向かいのブースとも仲良くさせていただきました。

3日間トラブルはあったものの、最後まで止まることなくコンテンツを動かすことができました。
14590428_1199857883415433_5343011320696780445_n

14470666_1199857643415457_6738891935708782461_n
「みかけハこハゐが 全部俺である」チーム:¬広重(公立はこだて未来大学)の方と記念写真を撮りました。
決勝でまた会えるのを楽しみにしています!

終了後、片づけをしてVR学会で展示をしていた先輩方と合流してサイゼリアでお疲れさまでした会
お疲れ様会

前日設営を含めて、凄まじい4日でしたが、一日一日がとても充実感溢れるものでした。
決勝大会では、コンテンツをより良いものに仕上げ、目指せ1位で頑張りたいと思います。

%e5%86%99%e7%9c%9f-2016-09-20-12-20-57

投稿者: 錦澤 竜也

dlibでopencvを使いたい

2016年10月21日 (開発者日記)

dlibをopencvと一緒に使うとき便利なメソッドがあったので、備忘録作成。

 

dlibで処理を行った後、使い慣れたopencvにデータを渡したいなーということがあると思います。

そのようなときはこうします。

1 dlibのデータをopencvに渡したいとき。

dlibで画像を表すクラスはdlib::array2d<dlib::bgr_pixel>です。

それをMatクラスに渡すには「dlib/opencv.h」をインクルードして、

cv::Mat cvimage = dlib::toMat(dlibimage);

みたいに書きます。

2 opencvのデータをdlibに渡したいとき。

Matクラスをarray2d<bgr_pixel>に渡すには以下のようにします。

「dlib/opencv.h」をインクルードして、

dlib::array2d<dlib::bgr_pixel> dlibimage;

assign_image(dlibimage, cv_image<bgr_pixel>(cvimage));

みたいに書きます。

以上備忘録

投稿者: 我妻 大樹

HTC Viveコントローラーの分解、改造!(振動子追加)

2016年10月6日 (開発者日記)

ハード担当の我妻です。
前回に引き続き、Viveコントローラーの分解、改造の話です。

振動子を交換する際に、振動子に使われている磁力の大きさを考慮していなかったため今回は配線を外に出して外付けの形をとってみました。

追加する振動子はバイブロトランスデューサのVp210を使用します。
小型で扱いやすく、制御しやすいようでIVRC2016予選でも使用しているチームがありました。

私たちのチームは当初、Arduinoでの制御を試みていたのですが、HTC Viveの追加アクセサリーコンテスト
VIVE Accessory Design Contest
に参加してみるのも面白いと思い、今回はHTC Viveで制御しました。

それでは取り付けてみます。
前回、Vive側の半田パターンはわかったのでこれにイヤホンジャックのメス端子を半田付けしてViveの外側までもっていきます。

dsc_1936
(絶縁できているか不安ですが、一応保護もしてみました)

 

Vp210にはイヤホンジャックのオスを半田しておくことで、ジャック同士をつなげることができるようになります。

dsc_1935

また、イヤホンジャックにすることで後からEQやアンプなど音響機器をつなげることができるので汎用性も高い…?かなと。

 

実際に振動させてみた動画があるので御覧ください。

ちなみに振動子を追加してみてわかったことなのですが、Viveコントローラ-起動時の「テレー」という音はどうやら振動子から鳴らしているみたいです。
なので追加した振動子のほうから「テレー!!」と大きな音がでて。圧電ブザーかと…
HTCの設計には学ぶことが多いですね

投稿者: 錦澤 竜也

OpenCV cv::Matとメモリ

2016年9月30日 (開発者日記)

OpenCVにおいて画像を格納するクラスはほとんどの方がcv::Matクラスを使用していると思います。Matクラスの振る舞いを理解しておくとコーディングがはかどります。


cv::Mat blue(300,300,CV_8UC3,cv::Scalar(0,0,255));
cv::Mat copy = blue;
for(int y = 0;y < copy.rows;++y){
for(int x = 0;x < copy.cols;++x){
for(int i = 0;i < 3;++i){
copy.data[copy.step * y + copy.channels() * x + i] = 255;
}
}
}

みたいなコードがあったときに、変数copyは白一色を表しますが、Mat型では初期化演算子、代入演算子ともに値のコピーを作成するのではなく参照先のコピーを作るだけです。つまりcopyが指しているメモリ空間は変数blueと共用していて、copyの値を書き換えるとblueの値も書き換わってしまいます。この結果blueは白色の画像になります。

メモリーの共有を防ぐには
cv::Mat copy = blue.clone();
という様に書きます。

OpenCVでは前者を浅いコピー、後者を深いコピーといいます。前者のほうが高速にコピーを行えます。

なぜOpenCVがこのような使用になっているかというと、画像の範囲を指定して処理を行いたいときにこの使用が生きてきます。

 

例えば画像の中心だけ画像処理させたいとき、このように書けます。

cv::Mat white(300,300,CV_8UC3,cv::Scalar(255,255,255));
cv::Mat roi = white(cv::Rect(150,150,150,150));
for(int y = 0;y < roi.rows;++y){
for(int x = 0;x < roi.cols;++x){
for(int i = 0;i < 3;++i){
roi.data[roi.step * y + roi.channels() * x + i] = 0;
}
}
}

このコードでは白い画像の中心150*150ピクセルが黒色になります。

このように画像の範囲を指定して処理を行いたいときに、威力を発揮します。(自分はそれしか知りませんが、ほかにも使用用途があれば教えてください…)

投稿者: 我妻 大樹

HTC Viveコントローラーの分解!

2016年9月29日 (開発者日記)

ハード担当の我妻です。
今回は、HTC Viveのコントローラーのバイブレーションが思ったよりも小さな振動であったため、これを手持ちの振動子と交換できないかと試みました。

さらに、振動子を外部にも引っ張り出せないものかと思っています。
HTC Viveはかの有名なiFixitによって、使用されているICなどは既に公開されています。
さらにケーブルの位置もわかるため分解は非常にスムーズに行きます。

しかし、内蔵されている振動子がどこにあるのかは記載されていませんでした。

一応、XboxOneのコントローラーに似ているSteamコントローラーのタッチパネル部とViveのタッチパネル部はほぼ一緒な基板といわれており、Steamコントローラー側の振動子の位置は公開されています。

ということで分解してみます。

dsc_1905
(クリックで大きいサイズの画像が見れます)

まずは、裏面のねじを外します。
星形ネジのサイズは、T4サイズなので一致するドライバーを用意します。

 

dsc_1906
(クリックで大きいサイズの画像が見れます)

ここに一つ隠れているのでこのネジも外します。

 

dsc_1910
(クリックで大きいサイズの画像が見れます)

つぎに赤外線受光素子側のガワを剝いでいきます。

dsc_1912
(クリックで大きいサイズの画像が見れます)

赤外線受光素子側のガワは上下にセパレートする機構になっています。また、コントローラー裏側のガワはツメで固定されています。
これを丁寧にとるとネジが出てくるのでこのネジも外します。

以上でコントローラー上部の分解は終了です。

dsc_1909
(クリックで大きいサイズの画像が見れます)

次にコントローラー下部です。
天板と基板にかけて配線が出ているので気を付けないと切れてしまいます。

dsc_1913
(クリックで大きいサイズの画像が見れます)

これを外すとコントローラーの全容が把握できます。

ここで振動子を探す作業に入るのですが、実際にコントローラーを振動させてみたところ天板が振動していることが分かりました。

天板の各部品をチェックすると、やはりSteamコントローラーと同様にタッチパネル部の裏側に振動子がありました。

uoa1tr5fbsjzzrbq
(クリックで大きいサイズの画像が見れます)(iFixitのサイトから拝借)

画像右の基板上にある、鉄色の直方体が振動子で間違いなさそうです。

dsc_1915
(クリックで大きいサイズの画像が見れます)

 

さらに調べると赤い丸で囲ったこの半田が電源ラインのようです。
テスターで測ってみるとそのまま他の振動子をつけても動きそうですね。

dsc_1919
(クリックで大きいサイズの画像が見れます)

今回は振動子の交換が目的なのでここまでで分解を一時ストップします。
まだまだViveのコントローラーは分解のしがいがありそうな予感がします。

投稿者: 錦澤 竜也

Arduino自作

2016年9月28日 (開発者日記)

チーム明るい家族計画が開発で行ったことを紹介します。

ハード担当の我妻です。ハード担当といっても予選まではほとんどプログラムのお手伝いしかしていませんでした。

なので数少ないハード関連の紹介です。

Arduinoはオープンソースなハードおよびソフトとして有名で、近年のIVRCでも多くのチームが使用しています。
しかし、製品版をそのまま買ってきて使用しているチームがおおく、さらにはブレッドボードで展示もみられる始末です。

組み込み機器を専攻している自分としては、自作してみたいと常々思っていました。
そこでネットに落ちている回路図と学科で習った基板加工の授業を思い出しながら作成してみました。

部品は秋葉原の秋月や千石で買ってきて、一台おおよそ1500円程度で作成できました。
書き込み機の部分が800円ほどかかり、本体部だけなら600円少しといったところでしょうか。

回路があっているか少し不安ですが、一応動作もチェックできて一安心といったとこです。

 

ArduinoPCB

img_0913

写真だとわかりずらいですが、結構コンパクトにまとめられました。

まだコア部分の作成で止まっているのですが、これから使うセンサやらを確定させてメインボードのほうも完成させたいですね。

本選ではハード担当として、チームに貢献したいです。

投稿者: 望月 宥冶

HTC Vive ゼロレイテンシー通信!?

2016年9月18日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

HTC ViveのUDP通信に成功しました。

初期の段階では、UNETを使うのかUDPを使うのか決まらず、どちらも試してみました。

UNETを試した際に、SteamVR pluginのGameObjectをそのまま生成すると、1つのシーンで2つ以上のSteamVRが存在してしまいます。
これによりデバイスの取り合いが起こり、そのままでは使用できません。また、この競合を回避しようにも大幅なレイテンシーにより実用とはいきませんでした。

よって、今回はUNETを使用するのではなくUDP通信によりお互いのViveのpositionとrotationを送りあうようにして解決しました。
注意しなければならないのが、お互いにデータを送り付けているだけなので、基本的には同期処理はしていません。
(今回はほとんど同スペックのPCをローカルの有線接続しているので、致命的なエラーは出ないだろうという考えです。ネット経由で使うときにはまた違ったやり方でないとレイテンシー問題があるかもしれません)

これにより送受信におけるデータ量と、受信のタイミングもこちらでコントロールできるので最終段階では100~120fpsで描画することに成功しました。
したがって、遅延は10ms以下となるので「ゼロレイテンシー」といえるのではないかと。

最後にViveコントローラーの位置に手のAssetをつけて、遊んでみました(通称:ゼロレイテンシー芸人)。

補足として、SteamVRのルームセットアップを的確に行うと、現実での位置とVR空間上の位置が一致するのですが、
それをしてしまうと、VR空間上で相手に触れたときに現実でも相手に触れてしまい、デバック中に怪我人が出てしまうので、今回はこんな感じで….

9/19 我妻追記

投稿者: 錦澤 竜也

IVRC直前ようやく体験フローの完成!宅配便の手配

2016年9月12日 (開発者日記)

チーム明るい家族計画です!

IVRC前日ようやく筐体が完成しました!

img_0915

こんな感じで体験者は椅子に座って2人で体験するコンテンツとなっております。

大会前日にようやく資材がそろいました!

少しジョイントが甘いのでこれからジョイントを増やしていきます。

また配線があまりに汚いのでそれも要修正です。

 

体験のフローもまだ確認できないところが多かったので、筐体を組んでおいてよかったと思います。

時間の関係で削った部分もかなりあるので、完全版ではないですが、遜色ない内容となっております。

 

筐体を組み終わったら、そっこーで片づけて、機材を梱包します。

機材を梱包し集荷を待っていたら13日火曜には届かないらしい\(^o^)/

しかし先輩たちが配送場まで車で届けてくれたので、危機は脱出できました。

先輩たちに感謝です。

img_0862

 

チーム明るい家族計画の健闘を祈っています!(自分で・・・)

投稿者: 錦澤 竜也

チーム明るい家族計画とは?real//baby real/familyとは

2016年9月11日 (コンテンツ)

チーム明るい家族計画の錦澤です。チーム明るい家族計画の展示「Real / baby Real / family」内容について説明します。本コンテンツは、リアルフェイス育児シミュレーターとしています。realbaby

(右のはポスターです)

 

IVRC公式へのリンクはこちらです。→ivrc.net/2016/visitors/#precompe

 

本体験の見どころは、大きく3つあります。

  1. 体験者の顔画像からその赤ちゃんを予測します。
  2. 体験者は最大2人です。
  3. 体験終了後に母子手帳を発行します。

 

未来の赤ん坊予測ーーーー!

img_0858img_0840nisiki_agatuma_baby

上の画像は二人の顔から生まれた赤ちゃんです!

キャワワ!(小並感)

 

2人プレイーーーー!

%ef%bc%92%e4%ba%ba%e4%bd%93%e9%a8%93

極低遅延通信(ゼロレイテンシー)!

2人でVRコンテンツが体験できるとか胸熱だろ!

パートナーと協力して赤ちゃんをあやそう!

2人の仲がより深まるかも!?

母子手帳ーーーーーー!

%e6%af%8d%e5%ad%90%e6%89%8b%e5%b8%b3

体験の記念に母子手帳をプレゼントするよ!

中身は体験してからのO・TA・NO・SHI・MI❤

 

みなさん「Real / baby Real / family」を是非体験してみてください!

Twitter[https://twitter.com/IVRC_realbaby]

投稿者: 望月 宥冶

Maya迷走中

2016年8月30日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

2D画像の処理がトントン拍子で進み、平均顔を使ってβ版を作ろうという話になりましたが、ここで問題発生!

2D画像をどうやって3Dに起こすのか…

Kinectで赤ちゃん人形の顔を撮影し、MeshmixerやMeshLabで加工したり、
babydoll_mesh

Point Cloud Libraryというライブラリを使い、顔のメッシュを生成したりしました。
Point Cloud Libraryは点群情報と画像情報の両方を保持できるフォーマット(.ply)を使用できたので少しだけ便利でした。
pcl

最終的にたどり着いたのが、Mayaを使用し、赤ちゃんの正面画像と横画像からメッシュを生成していく方法です。
2016-08-19
2016-08-23
2016-08-23 (1)
2016-08-30
2016-08-30 (1)

しかし、作成したメッシュをUnityにエクスポートした際にメッシュの情報が欠損し、使い物にならない結果に…
mesh
どうやら法線が裏返っておかしくなってるようで、手直しに非常に手間がかかり、これ以上はメッシュに時間を割けないので、球体に顔画像を張ることで対処。最初の段階でメッシュに関しては考えていなかったことも非常に時間を取らされてしまった感じがあり、今回のことから、妥協点を見つけるということや、ある程度やってみて、実装が非常に難しい(時間がかかる)と感じたことからは手を引く潔さが大切だと思いました。迷宮入りしそうになったときは、目に見えるタスクから終わらせること、初心に返ることを心がけ、メッシュにとりかかる前の目標であるβ版制作にとりかかろうと思います。
2016-08-29 (2)

↑球体を若干潰したオブジェクトに顔画像を張ると、見た目が改善されます!

投稿者: 望月 宥冶

顔の特徴点取得できました!

2016年8月30日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

今回はdlibというC++のライブラリを使用しました。
dlibは画像処理や機械学習などの機能を持ち、顔の特徴点を取得するのに使用しました。

特徴点取得の参考画像がこちらです。
landmark

dlibに用意されている学習データを用いることで顔画像領域の切り出し、ランドマークの検出などが行えます。ちなみにOpenCVを用いても顔画像を切り出すことは可能ですが、それよりも精度よく顔画像を切り出すことができます。

またランドマークはdlibによって、ソートされて出力されるので、モーフィングなどで重要な対応点なども簡単に調べることができます。dlib_face_landmark_point

こんな感じで対応点をソートしてくれます。

ただdlibの導入は少し面倒なのでCMakeの使い方には慣れておいたほうが良いかもしれません。

まだ慣れていないのもありますが構文もかなり難しいです。

また、特徴点が取得できたので、赤ちゃんの平均顔画像も作成しました。
平均顔画像の作成にはOpenCVを使用しました。
baby_face.ave

平均顔の赤ちゃんは非常に可愛いです。
この可愛い赤ちゃん画像から若年変化について考えていきたいと思います。

投稿者: 望月 宥冶

ハッカソン2日目「α版製作」

2016年8月30日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

7月23日、24日に行ったハッカソンの2日目の様子です。2日目の目標は「Wiiリモコンの値で赤ちゃんを制御」、「Mayaで作成したオブジェクトをUnityで読み込み」、「赤ちゃんをViveで制御」です。Mayaで作成したオブジェクトの読み込みは錦澤君が事前にベットのモデルを作成してきてくれていたので、スムーズに行うことができました。球体の読み込みは200*200頂点くらいのものから若干重くなった気がしましたが、許容範囲内でした。
IMG_3175

Wiiリモコンによる制御は、加速度センサの値を取得し、そこから角度を割り出し赤ちゃん(Unityちゃん)と同期。赤ちゃん人形の服の中にWiiリモコンを隠し完成。出来上がったのがこちらです。

Viveによる制御では、素晴らしいものを生み出してしまいました。なにやらサマーレッスン(ロリ)みたいなもので、これを基盤に商品にできそうなイメージでした。プログラム的には、ハッカソン1日目に行ったSteamVRの応用で、あとはHMDを被ったときに違和感がないかどうか調整して完成です。

今回のハッカソンでわかったことはViveが凄いということと、赤ちゃんをどう可愛いと思わせるかが大切だと思いました。今回はUnitychanの迫力が強すぎたということもあると思うので、完成品ではUnitychanを上回れるような作品作りをしていきたいと思います。

© Unity Technologies Japan/UCL

投稿者: 望月 宥冶

ハッカソン1日目「Unity勉強会」

2016年8月30日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

7月23日、24日に行ったハッカソンの1日目の様子です。1日目の目標は「unityを触ること」、「SteamVRの使い方」でしたが、とても良い流れで進んで行き、Kinect v2にも少し触れることができたので、1日目は大成功でした。

浅野君が作成してきてくれたスライドを元に作業を進めた結果、午後までかかる見通しのブロック崩し完成が午前中で終了してしまったため、その後、一足先に午後のSteamVRを我妻君主導のもと勉強しました。
IMG_3166
その後、先ほどUnityで製作したブロック崩しをViveで操作できるようにしたのがこちらです。

一段落したのち、ゲークリで途中抜けしていた浅野君と合流し、来来亭で昼飯兼夕飯を食べ、Kinectを触るはずが、Kinectを動かすために必要なSDK(ver2.0)がWindows7では動かないことが判明し、Windows10にアップグレード。なんとかKinectを動かし、サンプルプログラムから赤ちゃんを3Dスキャンしました。
IMG_3171
赤ちゃんの深度がうまく読み取れているのか疑問が生じましたが、隣に移ってる人の深度はしっかり読み取れていたので一安心。人形程度の凹凸だとあまりよくないようですが、人間相手なら十分使い物になると思います。

ソフトウェア的なことはここまでで終わりですが、夜に合流した武田君とパソコンを組み立てて、1日目は解散しました。余談ですが最近のBIOSがしっかりしすぎていて、すこし驚きました。
IMG_3172
IMG_3174

投稿者: 望月 宥冶

ハッカソン発表会とα版レビュー

2016年8月30日 (開発者日記)

こんにちは。
明るい家族計画の望月です。

前回のハッカソンで作成したwiiリモコンを使った赤ちゃん制御を改良し、HMDで制御できるようにしました。
発表会の様子も載せておきます。

ゲームデザインのより深いところを考えられるような発表会になりました。
「可愛い」についての論文を読みつつ、顔画像についても挑戦していきたいと思います。

© Unity Technologies Japan/UCL

投稿者: 望月 宥冶

赤ちゃんプロジェクト始動

2016年8月30日 (開発者日記)

初めまして。
明るい家族計画の望月と申します。

IVRCに応募した企画書が無事当選し、今後はプロトタイプ制作に励みたいと思います。

今回はチームメンバーと企画について紹介していこうと思います。

明るい家族計画のリーダーであり、”Real baby / Real family”の立案者。Blogの記事は主に私が書いていきます。

顔技術担当。顔に対する情熱が凄まじい。この企画の要。

コンテンツ担当。企画書制作以降からチームに加わって頂き、Unityを自由に使いこなす。別プロジェクトにも参加しているようで多忙。

    • 我妻 大樹

ハードウェア系、VR技術担当。別学科からの参戦で、上記3人とは持っている技術が違うため、話しているだけでとても勉強になる。

以上のメンバーでIVRCのプロトタイプ制作に挑んでいきます。

最後に企画紹介

タイトル
「Real baby / Real family」
概要
これは新しい家族の愛を体験できるVRです。お友達やカップル、同性のお友達の顔画像を合成し、赤ちゃんの顔画像を生成します。HMDを装着したまま、赤ちゃん人形をあやしてみましょう。きっと、体験者は子供とパートナーをかけがえのない存在として認識することができ、未来のコンピュータと人間の関わりについて深く考えることができるでしょう。

企画書はこちらから

赤ちゃんを作るVRです。唯一無二の存在を作り上げれるように頑張っていきたいと思います。