「白井研究室通信」 第26号
「白井研究室通信」 第26号／本日から学園祭／IVRCで3冠達成「瞬刊少年マルマル」特集号 (2012年11月3日発行)
=====================================================================
このメールニュースは、神奈川工科大学 白井暁彦または白井研究室の者と名刺交換等させていただいた方々にお送りさせていただいています。
このメールニュースがご不要の際は https://j.mp/ShiraiLabSubsc より配信先の停止をご申請ください。
=====================================================================
今月号のあいさつ文担当は修士2年の岩楯です。
10月が終わり、非常に外が寒くなってまいりました。電車でも冷房が暖房に切り替わり、垣間見えた短い秋が終わりをつげているようですね。秋が好きな私としてはとても複雑な心境ではあります。
さて本号は、先日行われたデジタルコンテンツエキスポや国際学生対抗バーチャルリアリティ学会大会の報告、11月3,4日にある神奈川工科大学学園祭についてをお送りします。学園祭の様子はUSTREAMにより配信を予定しておりますのでよろしければ白井研の文化をご覧ください。（M2岩楯）
【番組URL】 https://www.ustream.tv/channel/swedishfood-cookingshow
■–INDEX–■
1. IVRC2012にて3冠達成！「瞬刊少年マルマル」特集
1-1 「瞬刊少年マルマル」の技術的な面白さ（藤村）
1-2. 「瞬刊少年マルマル」という企画にあるこだわり（小出）
1-3. IVRC2012決勝大会に出場して／チームベリーキューブの今後（奈良）
2. DCEXPO2012発表体験記（亀山，雷電）
3. 幾徳祭2012！今年は「料理番組」を配信します！（奈良・カムラ・ヨナス・鈴木）
4.予告と募集
編集後記「スウェーデン留学生が来て変わったこと」
—–
1. IVRC2012にて3冠達成！「瞬刊少年マルマル」特集
10月25日～27日、日本科学未来館で行われたデジタルコンテンツエキスポ（DCEXPO2012）において、第20回国際学生対抗バーチャルリアリティコンテスト（IVRC2012）の本戦が行われ、情報メディア学科と大学院情報工学専攻の学生を中心に構成する「Kait Future Creators!!（KFC）」が3位を受賞し、さらに川上記念特別賞、未来観客賞、クリスティデジタルシステムズ賞の3つの重賞をあわせて受賞して3冠を達成しました。
IVRC とは、”International collegiate Virtual Reality Contest”の略で、バーチャルリアリティやロボットといった先端技術を用いたインタラクティブな作品のコンテストです。書類審査、プレゼンテーション審査、予選大会といった厳しいステージを勝ち上がった国内外9チームが、この決勝大会でそれぞれ企画・制作した作品の展示を行い最終審査となりました。
「Kait Future Creators!!（KFC）」は夢の実現プロジェクト2012年度採択プロジェクトで、作品は、『瞬刊少年マルマル』という、スクリーンにマンガのコマと吹き出しセリフ・背景・カメラで体験者のリアルタイムのポーズが撮影され、体験者が思うままにキャラクターを演じることで、体験者の個性を反映したマンガを作りあげるというもので、展示会場では大人気となりました。
本作品は11月3～4日に開催される「幾徳祭2012」にて展示公開されます。
1-1. 「瞬刊少年マルマル」の技術的な面白さ
藤村 航（大学院情報工学専攻1年）
プロジェクトの技術をメインで担当した藤村です。瞬刊少年マルマルでは、リアルタイムで漫画作成するためさまざまな技術を盛り込んでいます。
■Kinectを使った姿勢認識
瞬刊少年マルマルでは、漫画の中で演技しているかで最終的な評価が変わってきます。たとえば棒立ちでは評価が低くなり、複雑な姿勢（ジョジョ立ちなど）をしていると評価が高くなります。アルゴリズムとしてはKinectによるスケルトンを用いて、腕や脇の開き具合、体の傾きを認識し、評価関数によって非アクティブ・ノーマル・アクティブの3種類に分けています。
■リアルタイムにエフェクトをつける
前述した姿勢認識を用いて、コマごとに非アクティブ・ノーマル・アクティブ用のエフェクトをリアルタイムで追加します。コマの素材を背景、認識人物、エフェクト、セリフ、枠線をレイヤー状に重ねることで漫画らしい表現を再現しています。
■スクリプトによる制御
コマの素材や使用するエフェクトの選択は、スクリプト（設定ファイル）によって行っています。プログラム開発中は、自分1人ではどうしても手が足りません。そこで、外部ファイルでコマの構成データをくみ上げるようにすることで、デザイナーやプロジェクトマネージャーでも簡単にできるようにしました。スクリプトによるコマ構成を実現したことで、コマ内での人物の大きさを調整することで、パースかかり方などデザイナーがこだわりたいところをできるだけ実現することができました。
■10秒後の少しの間
瞬刊少年マルマルでは、1コマにつき10秒しか撮影時間を設けていません。10秒からカウントダウンをしていき、0秒の段階のポーズを撮影するのですが、多くの方が0秒間際になってポーズをとり始めます。予選大会では0秒きっかりで撮影していたため、完全なポーズをとる前に撮影してしまうことが多くありました。そこで本選大会では、0秒の後に少し間をおいて（0.5秒ほど）撮影するようにしました。少し間を開けたことによって、体験者がとりたいポーズを決めて撮影することが多くなり、満足のいく漫画に仕上げることができるようになりました。
自分一人では思いつかなかったアイデアや、実装方法、展示での体験者の楽しみ方など様々なことを学べたと思います。
1-2. 「瞬刊少年マルマル」という企画にあるこだわり
小出 雄空明（大学院情報工学専攻1年）
プロジェクトの企画提案とコンテンツデザイン・美術を担当した小出です。
「瞬刊少年マルマル」はマンガに入り込んで演じることでマンガを作り上げる企画ですが、マンガに入りキャラクターを演じることは多くの人にはハードルが高いことでもあります。そこで、レベルデザインや企画を体験者にスムーズに理解してもらうことに気を使い、マンガの中に入り楽しみ、作ったオリジナル漫画を持って帰るという体験の中で、体験者には最初から最後まで楽しんで頂くことを一番に重視しました。体験して頂いた方々の楽しそうな雰囲気を見られたときが一番うれしかったです。
多くの体験者してくれた方々の楽しんでいる姿を見れたことや何度も体験していただけるような作品を作れたことをうれしく思います、ありがとうございました。残念ながら優勝はできませんでしたが、沢山の方に「楽しい」「面白い」というお声を頂けて本当に嬉しかったです。「瞬刊少年マルマル」はこれからも多くの場所で展示させていただきます。お時間がありましたらぜひお越しください。
1-3. IVRC2012決勝大会に出場して／チームベリーキューブの今後（奈良）
奈良 優斗（情報メディア学科4年）
プロジェクトのマネジメントを担当した奈良です。IVRC2012の約半年に渡る長い戦いが終了し、今では寂しい気さえしています。
IVRC2012の審査は4段階に分かれており、書類審査→プレゼンテーション審査→予選大会→決勝大会と進んでいきます。企画書を作り、プレゼンをし、認められたところで初めて制作にとりかかることができます。
今回、制作した作品は、マンガの中に体験者が入り込み、物語の主人公となって様々なポーズをとることで、そのポーズが反映されたオリジナルのマンガを作ることができます。
Kinectとプロジェクターを使った大掛かりなエンタテイメント作品で、プログラムはXNAというビデオゲームのための言語を使っています。科学的には違和感のない映像を作る技術、人間の姿勢を「編集長チェック」という得点システムで評価しているところが難しい点ではありました。
マンガは情報工学専攻修士1年の小出さんがすべて直筆で描いています。そこに自然な体験が実現できるよう少年マンガ自身がもつ特徴をスクリプトという設定ファイルに作りこんでいきます。
機材的にはプロジェクター解像度が足らず、体験中のマンガの中での表情が体験者に伝わらないなど、不満な部分もあります。
また予選大会から決勝大会の間の短い時間に、TV番組への出演が舞い込み、作品のブラッシュアップとTV向けの演出の追加開発を同時に行わなければならず、プロジェクトマネジメント的にも大変な経験を積むことができたと思います。
決勝大会の結果は、世界第3位にあたる「川上記念特別賞」、日本科学未来館のお客さんが選ぶ「未来観客賞」，企業賞である「クリスティデジタルシステムズ社賞」の3つの賞を頂くことができました。『テーマパークで働きたい』という夢を持つ自分が、テーマパークの演出で使用されているクリスティ社の企業賞（副賞は某有名テーマパークの見学ツアー！）や、国立唯一の科学館である日本科学未来館に来場された方の人気投票の結果である未来観客賞を受賞できた事、また何よりも大勢の方から「楽しい」「面白い」というお言葉を頂き、本当に嬉しく思っています。
まだまだ改善点の多い「瞬刊少年マルマル」ですが、DCEXPOでの展示を通して、沢山のアドバイスやご感想を頂き、より広い視野で、作品を見直すことができました。今後の活動として、お誘い頂いている国内外の展示や、Laval VirtualやSIGGRAPHに出すために、よりブラッシュアップする必要があります。そして、体験したいのに恥ずかしくて体験しない人も多く見受けられました。そういった方へのアプローチとして、個人的に研究している「恥ずかしさを軽減する手法」を用いて、より沢山の体験者に、この作品を通して夢や感動を与えたいと考えています。
私たちは、マンガという日本の文化を通して、夢や感動を与えるエンタテイメントシステムを作ることができたと思っています。今後は、更に作品をブラッシュアップして、研究室や大学の力を応援を借りながら、世界をステージに頑張っていきたいと思います。応援して頂いた皆様、本当にありがとうございました。これからもよろしくお願いいたします。
KAIT Future Creators!!
奈良 優斗（情報メディア学科4年）
藤村 航（大学院情報工学専攻1年）
小出 雄空明（大学院情報工学専攻1年）
【メディアでの取り扱い】
■TBS深夜特番「アノ大学の天才おバカさん研究所！」
https://www.shirai.la/topics/news/20121009TBS
■ロケットニュース24
「【DCEXPO2012】注目の最新技術「新感覚タッチパネル」「次世代ビデオ会議システム」など」
https://rocketnews24.com/2012/10/26/260603/
■DCEXPO TV
「第20回国際学生対抗バーチャルリアリティコンテスト（IVRC2012）」
https://www.ustream.tv/recorded/26416759
声優の有野いく(@iku_arin0)さんが学生たちと作品を紹介する番組
「決勝大会 表彰式」
https://www.ustream.tv/recorded/26460589
感動のフィナーレ、白井先生が司会です！
■大学広報
https://www.kait.jp/news/470.html
現在、NHK、テレビ東京での取材に対応しております（11月中放映予定）。
また大阪での展示も予定しております。
詳しい情報はこちらから発信予定です
https://blog.shirai.la/blog/topics/kfc/
2. DCEXPO2012発表体験記（亀山，雷電）
▶4年の亀山です。10月の25～27日の3日間、お台場の日本科学未来館で行われたDCEXPO2012で、NECディスプレイソリューションズさんのブース内で展示された、ScritterHの紹介を行いました。3日間立ちっぱなし&喋りっぱなしだったので、終わったころにはヘトヘトになってしまい(その後も腰痛が治まらない)ましたが、体験してくださったお客様が驚き、つたない僕の説明に納得して笑顔でブースを後にしてくださった時は、嬉しさで胸がいっぱいになりました。とても楽しそうに、こういう風に使えたらいいねと、様々なことをお客様と語り合えた時は、体の痛さなどどこかに吹き飛んでしまいました(終了とともにすぐに戻ってきましたが……)。たくさんのお客様とのコミュニケーションや、接客業務が行えた今回の体験は、自分にとってものすごく貴重な体験になりました。ブースに来てくださった皆様、そして、今回の体験を用意してくださったすべての皆様、本当にありがとうございました。
▶皆さんこんにちは。4年の加藤（雷電）航です。私も亀山さんと共にDCEXPO2012にて展示解説員をさせていただきました。私は25,27日の二日間だけの参加でしたが、展示の時のアクシデントや、それの対処など色々学ばさせていただける貴重な体験でした。このような場を用意じてくださったNECの皆様、ならびに研究室、ご来場者の皆様、ありがとうございました。
▶留学生のカムラくんとヨナスくんも大活躍でした。展示の様子はヨナス君のBlogから。
3. 幾徳祭2012！今年は「料理番組」を配信します！（奈良・カムラ・ヨナス・鈴木）
今年の幾徳祭、白井研究室では、2つの企画を用意しております。
1つ目は、スウェーデンからの留学生を主体に
「日本の食材で作るスウェーデン料理」
という番組をUSTREAMでライブ配信します！
https://www.ustream.tv/channel/swedishfood-cookingshow
詳細は上記URLにある予告動画を観て下さい！
スウェーデン料理の「ジャム付きミートボール」を作るのですが、材料の「牛ひき肉」を入手するところから既に大冒険です。
2つ目は、コンテストで世界3位を受賞し、TVやNEWSで取り上げて頂いている「瞬刊少年マルマル」を展示します！
DCEXPOで体験できなかった方や、TVで見たけどどこでやってるかわからないという方！ぜひこの機会に体験してくだ さい！
■幾徳祭2012 https://circle.kanagawa-it.ac.jp/~jikkou/
4.予告と募集
【ご協力お願い】「コンピューターゲームにおけるユーザーの求める要素の分析」の第2回アンケートを下記のURLで実施中です！第1回にご協力して下さった方もよろしければご協力お願いします！(雷電)
短縮URL：https://bit.ly/GG20121023
【募集】11/21-23 白井研究室配属説明会（配属希望する3年生は随時訪問ください！）
【発表】1128-12/1 SIGGRAPH ASIA 2012 Singapore E-Techにて「2x3D」発表
【参加者募集】（日程未定）忘年会＆新年会
【募集】白井研究室では就活シーズンを前に、企業訪問キャンペーンを実施計画しております。ご対応いただける企業ご担当者さま、本メールに返信にてご調整いただけますと幸いです！
【募集】多重化隠蔽映像「ScritterH」の国際特許・ライセンスにご興味のある企業様、ご相談お待ちしております。
■編集後記 今月のテーマ「スウェーデン留学生が来て変わったこと」
(藤村)研究室がインターナショナルに！
(小出)英語は得意ではありませんが、彼らと積極的にコミュニケーションをとっていこうと努力するようになっています。
(奈良)彼らと話していると他の日本人と話すときにも英語で喋ってしまう。
(亀山)研究室がよりにぎやかになった。
(岩楯)いろんな面で空気がよくなったと思う。違う言語で話すのもたまには楽しいです。
(雷電)研究室に笑いが増えた気がする。
(Jonas)The biggest change for me, after starting my internship at kait, has been that I’m beginning to understand the Japanese language and to write in hiragana.
――最も大きく変わったことといえば、日本語を理解し始めていることと、ひらがなを書いていること。
Blog: https://www.jonasschild.com
(Khamla) The biggest change is the language barrier, I am used to be able to communicate with almost everyone
――言語の壁が変わりました。ほとんどみんなとコミュニケーションできるようになっています
Blog: https://khamlicious.tumblr.com/japan
(白井)ものすごいスピードで英語しゃべっていても浮かなくなった。ゼミは日英逐次翻訳でやっています！
-+-+-+-+-+-+-
白井研究室では留学生交換や、企業・他大学との共同研究、インターンシッププログラムなどを積極的に開発しています。
科学コミュニケーションや先端技術、エンタテイメ ント技術、イベントや共同研究のご提案、また本メールニュースへのお知らせなどの掲載希望などはこちらまでお気軽にお寄せください。もちろんご意見ご感想も歓迎です。
お問い合わせフォーム https://j.mp/shirailabc
白井研究室facebook https://j.mp/FBShiraiLab
白井研究室メールニュース「白井研究室通信」第26号
ご購読/配信停止はこちらから https://j.mp/ShiraiLabSubsc
著作製作：神奈川工科大学 白井研究室 / 改変はご遠慮ください
-+-+-+-+-+-+-