記事のWeb版はこちら

Kinectを用いて姿勢認識を行い、ビット・トレード・ワン社（神奈川県相模原市）の「USB接続 赤外線リモコンKIT」によってテレビのチャンネル切り替えを操作できます。

本誌の記事はこちら　http://www.kumikomi.net/interface/contents/201301.php
一部PDFで公開されているようです！ http://www.kumikomi.net/interface/sample/201301/if01_130.pdf

以下にサンプルプログラムソースコードと限定版のAccuMotionライブラリを公開します。

ダウンロードはこちらから  KinectTVRemote+AccuMotionLib (717 ダウンロード)

以下、Readmeより引用。

README: Kinect TV Remote + AccuMotion.DLL

制作者：神奈川工科大学 白井研究室 藤村 航

公開日：2012年11月19日

http://www.shirai.la/members/wataru-fujimura

概要

このツールはCQ出版社「インターフェース」2013年1月号の特集『誤認識しにくいジェスチャ入力の研究！』のためのサンプルプログラムです。Kinectを用いて姿勢認識を行い、赤外線リモコンキットによってテレビのチャンネル切り替えを操作できます。

※注意：テレビの赤外線コードは会社ごと仕様が違います。このプログラムではSharpのデジタルテレビを用いています。他社のテレビでは動かないことがあります。

実行環境

• .NET Framework 4.0
• Kinect for Windows SDK 1.6
• 「赤外線リモコンキット」のドライバ

以上のものがPCに導入・動作していることを確認してください。

実行方法

1．PCにKinectと赤外線リモコンデバイスをPCに接続します。

（赤外線リモコンキットデバイスがなくても起動はしますが、テレビ操作はできません）

• Kinectを置く高さは、腹～胸あたりの高さに設置してください
• 赤外線リモコンはできるだけテレビの近くに設置してください

2．「Kinect TV Remote\KinectTVRemote\bin\Release」内にあるexeを実行します。

（exeが起動しなかった場合、Visual Studioでビルドし直してください）

3．プログラムが起動したことを確認し、Kinectで人物認識できるように1.5～2mほど離れ、正面に立ちます

4．入力操作をするために、右腕をKinectに向かって突き出してください。しばらくすると右下のMotionTypeが「None」から「HandKeep」に変化します。これで「溜め動作」が認識され、「入力操作」を認識できるようになります。

5．MotionTypeが「HandKeep」になった状態で、右腕を上下左右に動かすとMotionTypeが「HandUp」「Handdown」「Handdown」「HandLeft」に変化します。

MotionTypeが変化した段階で、入力操作として受けつけ、各姿勢状態に設定した「赤外線コード」が送信されテレビの操作を行うことができます。

図 2：各姿勢を行い、認識した状態

現在設定してある操作

• HandUp：矢印の上ボタン
• Handdown：矢印の下ボタン
• HandRight：決定ボタン
• HandLeft：番組表を表示するボタン

HandKeepやHandUpなどの姿勢を記録する方法

例：「HandKeep」の姿勢を記録する場合

1.「HandKeep」で認識させたいポーズをとる　（左右の腕の骨格情報だけを保存します）

2.「HandKeep」の右側にある「姿勢を保存」のボタンを押す　（無線マウスなどの利用がお勧めです）

認識精度の変更

各姿勢のスケールバーを調整して、閾値を設定します（初期値は85%）。各姿勢の類似度が閾値を超えた場合、姿勢を行ったと認識します。

図 3：「HandKeep」の姿勢とユーザーの行っている姿勢の類似度

図3では「HandKeep」の類似度が54%であり、この状態では「HandKeep」を認識しません。

閾値を上げると認識精度が上がります。誤認識を防ぐことができますが、設定した姿勢を完璧に再現する必要があり、入力が難しくなります。

閾値をさせると認識精度が下がります。入力が容易になりますが、誤認識も増える可能性があります。

リモコンの機能を変える

プログラムをVisual Studioで開き、「TVRemote.cs」を開きます。「code〇」という変数を変更すると、送信する赤外線のコードが変わり別の操作をすることができます。

• code0：HandUpで用いる
• code1：Handdownで用いる
• code2：HandRightで用いる
• code3：HandLeftで用いる

～その他～

•  赤外線のコードは、「赤外線リモコンキット」のサンプルにあるサンプルプログラム「受信用設定ツール」「送信用設定ツール」で確認できます

http://a-desk.jp/modules/forum_hobby/index.php?cat_id=8

• 赤外線の通信フォーマットとしては、AEHAフォーマット（家電協会）を用いています

http://a-desk.jp/project/hobby/IR/USB_IR_REMOCON_LIBRARY.pdf

• ソニー製のテレビの場合は、信号の送り方を変えなければならないようです

http://a-desk.jp/modules/forum_hobby/index.php?topic_id=38

AccuMotionライブラリについて

本プロジェクトに同梱されている「AccuMotion.dll」は特許出願中（特願2011-171482「姿勢判定方法」）に基づく学校法人 幾徳学園 神奈川工科大学 情報学部 情報メディア学科 白井研究室の著作物です。

• CQ出版社「インターフェース」2013年1月号の特集のための限定バージョンです
• サポート等を行う予定はありませんが、内部動作や商用使用等のライセンスについてご興味があります場合は、以下にご相談ください。

【技術開発】白井研究室AccuMotionプロジェクト　accumotion <at> shirai.la

【特許ライセンス関連】TAMA-TLO株式会社 042-631-1325　tech <at> tama-tlo.com

—-

他の特集も大変面白いです！

今月号のあいさつ文担当は修士2年の岩楯です。

11月も終わりを迎え、寒さも本格的になってまいりました。ただいま私はScritterの展示のため、4年生の奈良くんと名古屋におります。愛知県の伏見付近にお住まいでしたら是非おこしくださいませ。

■–INDEX–■
1. 「NHKサイエンスZERO」スタジオコメンテーターで出演します
2.「所さんの学校では教えてくれないそこんトコロ！」で百万点!?
3. SIGGRAPH ASIA 2012 Emerging Technologiesで「2x3D」をデモ発表します
4. 幾徳祭2012 ご視聴ありがとうございました
5. NEC映像ソリューションフェアで全国デモツアー実施中
6. 相模原市立博物館と市民協働提案を行いました
7. Kinectを使った先端特許を雑誌で公開します
8. 次年度卒研生募集中
9. Webサイトをリニューアル，個人Blogも！
10.予告と募集
編集後記「冬の訪れを感じるこの旬感」
—–

1. 「NHKサイエンスZERO」スタジオコメンテーターで出演します（白井）
■サイエンスZERO「SF世界が現実に！プロジェクション映像技術の衝撃」
2012年11月25日(日) [Ｅテレ] 夜11：30～12：00
2012年12月1日(土) [Ｅテレ] 昼0：30～1：00
他、国際放送、NHKオンデマンドでの放送もあるそうです。
http://www.nhk.or.jp/zero/index.html
http://www.nhk.or.jp/zero/contents/dsp408.html
内容は先日、リニューアルされた東京駅丸の内で実施されたプロジェクションマッピング技術、その裏側特集なのですが、白井研究室の代表研究「多重化隠蔽映像Scritter」は、まさにプロジェクタで投影した映像の上に任意の映像を表示する技術と言えます。新潟県立自然科学館「サイエンスクエスト」プロジェクトや日本科学未来館での4Kデジタルシネマ「かぐやの夢」なども、先端のプロジェクション映像技術を駆使した活動です。
技術の紹介だけでなく、スタジオでの実演、コメンテーターとしての収録もあり、大変な大舞台でした。サイエンスZEROとしても最長の収録時間（2時間半！）だったという話です。慣れないスタジオでのオリジナルコンテンツの実演の裏には、綿密なテストと、SIGGRAPH発表準備の忙しい合間に技術サポートを提供してくれた大学院生の藤村くんの活躍があります。
編集された映像ではわからないかもしれませんが、台本は流れとメッセージだけが存在し、あとは要点に合わせて出演者が突っ込んでいきます。チーフプロデューサーの斉藤さんの設計、出演者の竹内薫さん（サイエンス作家）、中村慶子アナウンサーさんのすばらしい質問の投げかけ、そして女優の南沢奈央さん（立教大学 映像身体学科4年生）の透き通るような美しさ…収録前には『文系女子の代表、女優の南沢奈央さんの視点でわかるように！』と自分なりに設定していたのですが、これが本当に難しい！気がつけば熱く「夢のある研究」について語ってしまいました…勿体ないのですが、実際には1/10ぐらいにカットされてしまうと思います。
後で『もっと技術の話をすればよかった!!』と後悔しきり…プロの科学コミュニケーターと研究者・技術屋の合間での葛藤でしょうか…疲れもあって、収録後まる2日はグッタリしていました。
LCDパネル全盛の時代、「プロジェクター技術はクラシックなもの」とお考えの人も多いと思います。番組を見た後はそのような考えが一新しているはずです。
また情報メディア学科の学生さんの親御さんなど、「情報メディアってなんだろう？そんな産業に未来があるのだろうか？」とお考えの方も思います。そういった方にこそ、ぜひ見ていただきたい特集であります。
☆詳細・ご感想などはこちらへどうぞ
http://blog.shirai.la/blog/2012/11/25-nhk/

2.「所さんの学校では教えてくれないそこんトコロ！」で百万点!?
【放映日は11月30日(金)、21:00から2hスペシャルの番組になっています】
http://www.tv-tokyo.co.jp/sokontokoro/
詳細は番組をお楽しみに！ご笑覧ください！
■「100点満点中、100万点だよ!」（奈良 優斗）
TV東京の「所さんの学校では教えてくれないそこんトコロ！」で、「瞬刊少年マルマル」が紹介されます。
先日スタジオ収録を終えて来たのですが、所さんをはじめ、多くの芸能人の方にもご好評頂きました。所さんには、「100点満点中、100万点だよ!」というお言葉を頂きました。
「瞬刊少年マルマル」は、番組中盤当たりで登場すると思います。よろしくお願いします。
■ テレビ番組制作の裏側体験記（鈴木 伸之介）
11月15日にテレビ東京の「所さんの学校では教えてくれないそこんトコロ」、11月16日にNHKの「サイエンスZERO」と2日連続でテレビ局の見学をさせていただきました。
テレビ東京はバラエティ番組のためか、笑いあり拍手あり非常に明るい雰囲気でした。NHKはそれとは全く異なり、非常に静かで重々しい雰囲気で息がつまりそうでした。　番組の種類の違いによるものなのでしょうが雰囲気がガラりと変わったことには驚きした。2時間番組（朝10時から夕方6時半）と30分番組（2時から10時半）のリハーサルもあわせた収録時間がほぼ同じだったことにも驚きました。映像制作に興味がある自分としては大変勉強になりました！

3. SIGGRAPH ASIA 2012 Emerging Technologiesで「2x3D」をデモ発表します（藤村，小出, Khama, Jonas）
M1の藤村です。11月28日から12月1日まで行われるSIGGRAPH ASIA 2012のEmerging Technologies部門で「2x3D」をデモ展示＆発表を行います！SIGGRAPHはこれまでポスター展示やデモのお手伝いで参加したことがありますが、世界最高の舞台であるEmerging Technologiesで自分の発表デモや発表の機会を得られたのは今回が初となります。留学生もチームに加わり、体制もまずまず。今までの研究成果を存分に発揮したいと思います！

■「2x3D」とは？
2x3D（ツーバイスリーディー）は１つの画面で、2Dの映像と3Dの映像を同時に視聴できるシステムです。裸眼の状態では2D映像を視聴でき、3Dメガネを掛けると3D映像が視聴できます。メガネの掛け替えだけで、簡単に映像を切り替えることができます。
http://blog.shirai.la/blog/2012/10/pressrelease20121025/

■SIGGRAPH Asia 2012 Emerging Technologiesとは？
世界最大のコンピュータグラフィック＆インタラクティブ技術の国際会議「ACM SIGGRAPH」のアジア開催年次大会です。
Emerging Technologiesは先端技術を中心とした新しいインタラクティブ技術のデモセッションで、採択難度は大変に高い一方、多くの来場者と直接出会えるSIGGRAPHの看板セッションです。

SIGGRAPH Asia 2012
開催場所：シンガポール
開催期間：11月28 日~ 12月1日
http://www.siggraph.org/asia2012/
【詳細・映像はこちら】 http://www.shirai.la/topics/news/SA2012

4. 幾徳祭2012 ご視聴ありがとうございました（鈴木 伸之介）
今年の幾徳祭、白井研究室では「日本の食材で作るスウェーデン料理」という番組をUSTREAMでライブ配信しました。
http://www.ustream.tv/channel/swedishfood-cookingshow
スウェーデン料理の「ジャム付きミートボール」を作りました。研究室にとてもいい匂いが立ち込めていて、またライブ感がある楽しい番組になりました。テレビ放送では非常に伝わりにくい味についてを放送したスウェーデン料理番組でしたが、いかがでしたでしょうか。ミートボールは肉にジャムを付けて食べるというゲテモノ風なのですが、意外にもおいしかったのです。問題はそのあとに作ったチョコレートボールでした。調理の段階からおかしな量の砂糖を使用していたのでかなり甘いだろうとは予想していたのですが、予想以上に喉が痛くなるような甘さのお菓子でした。日本人との味覚の違いというのが判ったような気がしますが、ゲスト参加していた1年生の鈴木さん（女子）は「おいしい！」と言っていました。男子と女子の味の違いも判ったような気がします。
また、ご視聴いただいた皆様、ありがとうございました。相模原市在住の中島さまからは後日談でも「すばらしい！こういうことが学園祭でできる学生はこれから必要！」と白井先生経由でメッセージをいただきました。ありがとうございました。
P.S. 現在、卒業研究で「スマホによる笑い検出システム”L-Pod”」の研究でAndroidアプリの開発などをしている私ですが、先日、大本命だった地元静岡の会社に不採用通知をいただいてしまい、崖っぷちにおります。全国どちらの企業さんでもかまいません、可能性のある採用企業様、お声をおかけいただければ幸いです！メール→ shin <at> shirai.la

5. NEC映像ソリューションフェアで全国デモツアー実施中（奈良，岩楯）
NEC映像ソリューションフェア2012[中部] （11/22）
http://www.nec-display.com/jp/info/sol/2012__nagoya.html
NEC映像ソリューションフェア2012[大阪] （12/4・5）
http://www.nec-display.com/jp/info/sol/2012_kansai.html
本日、名古屋市中区にあるNEC中部ビルにて本日22日10時~17時にScritterのデモ展示をおこなっております。
展示の内容は、液晶プロジェクターによる隠蔽表示、LEDプロジェクターによる2x3D、隠蔽表示の最新2点です。
この展示はScritter第2世代と、研究の最新成果であるScritter第3世代を展示になります。
（東京・名古屋・大阪の”3大都市ジャパン・ツアー”をSIGGRAPH ASIAシンガポールでの展示と並列に行なっているという奇跡的な状況でもあります）
展示ご協力をいただいておりますNECディスプレイソリューションズ様にこの場をお借りして御礼申し上げます。
皆様と会場でお会いできますことを楽しみにしております。
http://blog.shirai.la/blog/2012/11/neciexpo2012/

6. 相模原市立博物館と市民協働提案を行いました（白井）
2012年11月13日、平成24年度相模原市協働事業提案制度の公開プレゼンテーションにおいて、新企画「みんなでつくる相模原『知的探求散策アルバム』」を発表させていただきました。
「協働事業」とは、市民と行政が一体となって、問題を解決していく新しい取り組みで、全国各地の自治体で実施されつつあります。今回の提案は、相模原市立博物館における「相模原どこでもミュージアム」という市立博物館の構想に対して、具体的に市民主体の博物活動をネットワーク（人的・通信的）を活用して『楽しく実施』するという視点で、街歩き・映像ワークショップを行うという設計になっています。
博物活動以外に、科学コミュニケーション、三世代いっしょに、デジタルデバイド、情報の世代間伝達、情報リテラシー、シティセールスなど多くの課題を楽しく解決できる可能性がある取り組みです。

■詳細・プレゼンテーション・動画はこちら
http://blog.shirai.la/blog/2012/11/13-sagamihara/
この場をお借りして、御関係各位のご協力にむけた感謝を述べさせて頂きます。
来年度の研究室活動の一つの軸になると思います。採択されることを祈っております。

7. Kinectを使った先端特許を雑誌で公開します
特許というのはただ取得してもなかなか利用や普及にはつながらないものです。
特にソフトウェアやシステムはその価値を表現するのが大変です。
この度、公開される白井研究室の特許「姿勢判定方法」（特許出願中：特願2011-171482）を11月25日発売予定のCQ出版社「インターフェース」2013年1月号特集『誤認識しにくいジェスチャ入力の研究！』において詳細に解説し、サンプルソースコード付きライブラリの形で提供します。
ご興味ありますかたはぜひ、お試しください！
http://interface.cqpub.co.jp/
http://blog.shirai.la/blog/tag/accumotion/

8. 次年度卒研生募集中
学内向け、情報メディア学科3年生向けのお知らせです。
昨日11月21日から来年度の卒研希望者の面談を開始しています。
2日目現在、9名の一次定員枠に7名の希望者が第一志望で白井研究室を希望してくれている状況です。すばらしい才能をもった学生たちに先生自身が揺り動かされています。
面談は、海外発表につき26日月曜日夕方から不在します。配属希望する3年生はすぐご訪問ください！メール一本、Twitter一本でも構いません。

9. Webサイトをリニューアル，個人Blogも！
お気づきの方もいらっしゃると思いますが、白井研究室のホームページが大幅にリニューアル進行中です！
以後 www.shirai.la は国際系のコンテンツ、 blog.shirai.la は学生個人、プロジェクトおよび日本向けのコンテンツというようにドメインごとに住み分けていきたいと思います（移行作業中）。
すでにいくつかのブログが立ち上がっているようですので紹介いたします。
☆4年生の亀山です。亀山のブログなのでそのままkameblogと名付けました。特に制限を設けず、自分の興味のあること(主に特撮・アニメ・ゲームetc……)についてのんびり書いていこうと思います。よかったら覗いてみてください。よろしくおねがいします。 http://blog.shirai.la/kame/
☆M1の北田です。学習帳のように日々の研究活動および調査内容をまとめていくスタンスで個人ブログを更新していきたいと思います。よろしくお願いいたします。 http://blog.shirai.la/kitada/

10.予告と募集

【ご協力お願い】「コンピューターゲームにおけるユーザーの求める要素の分析」の第2回アンケートを下記のURLで実施中です！第1回にご協力して下さった方もよろしければご協力お願いします！(雷電)
短縮URL：http://bit.ly/GG20121023
【年賀状をお送りします】「住所登録」をお願いいたします　http://j.mp/ShiraiLabSubsc
【参加者募集】忘年会は12/21（研究室内）予定、新年会は1/7（本厚木駅前）の予定
【募集】多重化隠蔽映像「ScritterH」の国際特許・ライセンスにご興味のある企業様、ご相談お待ちしております。
【Call For Demo】 Laval Virtual ReVolution2013 “THE NEXT BIG STEP”
http://www.shirai.la/event/lavalvirtual/blog/20121008
■編集後記　今号のテーマ「冬の訪れを感じるこの旬感」
(藤村) ケンタッキーのCM
(小出)朝起きるのがつらい
(亀山)マックのグラコロ。
(岩楯) 頭痛、冷え性、静電気
(北田) 鍋物料理が恋しくなる
(白井)霜柱、吐く息が白い、車に暖気、夜明けが遅い（＝夜が長い→徹夜が長くなる）。

-+-+-+-+-+-+-
白井研究室では留学生交換や、企業・他大学との共同研究、インターンシッププログラムなどを積極的に開発しています。
科学コミュニケーションや先端技術、エンタテイメ ント技術、イベントや共同研究のご提案、また本メールニュースへのお知らせなどの掲載希望などはこちらまでお気軽にお寄せください。もちろんご意見ご感想も歓迎です。
お問い合わせフォーム　http://j.mp/shirailabc
白井研究室facebook 　http://j.mp/FBShiraiLab
白井研究室メールニュース「白井研究室通信」第27号
ご購読/配信停止はこちらから　http://j.mp/ShiraiLabSubsc
著作製作：神奈川工科大学 白井研究室 / 改変はご遠慮ください

-+-+-+-+-+-+-

AccuMotionとは？

Kinectなどの自然動作ユーザインタフェース（Natural User Interface: NUI）において，「溜め動作」に注目して自然動作とコマンド動作を入力するアルゴリズムおよび特許の通称です．Accumulate（溜める）＋Motionの造語です．またAccuMotionアルゴリズムを応用した関連プロジェクトについてもこのタグがついています．

サンプルのダウンロードはこちらから  KinectTVRemote+AccuMotionLib (717 ダウンロード)