学研さんと「モーションIRカメラ」のヒミツについて調べてみました。

  • この記事をシェアする

Nintendo Switchには2つのJoy-Conが付属していますが、右のJoy-Conにだけ「あるもの」がついています。それはこれです。

右のJoy-Conの底面にだけ黒いパーツがついていますね。これは「モーションIRカメラ」といいます。「モーション」とは日本語で「動き」という意味で、モーションIRカメラはカメラが捉えた「動き」をゲームの中に伝えることができるものなのです。

動きをゲームの中に伝える技術といえば、これまでに紹介した加速度センサーと「ジャイロセンサー」がありますね。なんだか似たような機能に思えますが、モーションIRカメラは何が違うのでしょうか?

その答えはこの映像を見ればわかると思います。

この映像は『1-2-Switch』の中に収録されている「大食いコンテスト」というゲームの映像です。モーションIRカメラに向かって口を動かすと、その動きに合わせてサンドイッチがどんどん減っていくのがわかりますか?

「加速度センサー」「ジャイロセンサー」は傾きなどJoy-Conそのものの動きをゲームに伝えていましたが、モーションIRカメラはJoy-Con自体の動きではなく、モーションIRカメラが捉えた物の動きを調べることができるという違いがあるんです。

では、モーションIRカメラはどのようにして口の動きをゲームに伝えているのでしょうか?今回も学研さんと一緒にその仕組みについて調べてきました。

「IRカメラ」ってなんですか?

モーションIRカメラの「モーション」の意味についてはいま説明しましたが、後半の「IRカメラ」は一体どういう意味でしょうか。特に「IR」という言葉は聞き慣れないですよね。

IRとは「赤外線」という意味を持つ言葉です。赤外線というのは光の一種で、普通の光と違って人間の目に見えない光です。そう言われるととても難しい感じがしますが、赤外線は私たちの身近なところで色々と使われているんですよ。

たとえばテレビのリモコンです。テレビに向けてリモコンのボタンを押すと、リモコンから目に見えない光=赤外線が送信されます。テレビはその赤外線の光の信号を受け取って、電源をつけたり、音量を上げたりしているんです。

光といえば、太陽の光のように明るいものというイメージが強いのではないでしょうか?正直、目に見えない光があると言われてもピンときませんよね。

そんな目に見えない赤外線ですが、ある方法を使えば見ることができるんです。ニンテンドー3DSや、スマートフォンなどについているカメラを使ってテレビの赤外線送信部を見てみましょう。

スマートフォンのカメラを通して見た時、リモコンが光ったのがわかりましたか?人間の目には見えなかった光が、カメラを通すことで見ることができました。この光が赤外線です(※)。

さて、ここで改めて「IRカメラ」について説明しますね。

今見たとおり、一般的にカメラには赤外線を捉える機能があります。その機能を強化し、スマートフォンなどについているカメラよりも高い精度で赤外線を捉えることができる特別なカメラが「IRカメラ」なのです。

※ テレビリモコンの赤外線は必ずスマートフォン等のカメラ越しに見るようにし、直接赤外線送信部を覗き込まないでください。また、スマートフォンの機種によっては、うまく赤外線が映らない場合があります。うまく映らないときは、外側カメラよりも内側カメラのほうがよく映ることが多いので、そちらで試してみて下さい。それでもうまくいかない場合は、部屋を暗くすると映りやすくなります。

モーションIRカメラの仕組み

モーションIRカメラの黒いパーツの向こうには、いま説明したIRカメラが入っています。さらに、IRカメラのすぐ横には赤外線を出すライトもついています。

先ほどのテレビリモコンの実験と同じようにモーションIRカメラをスマートフォンのカメラごしに見ると、赤外線の光が確認できますね。この光を出しているのが赤外線ライトです。

モーションIRカメラはこの「赤外線ライト」と「IRカメラ」のコンビネーションで、物の動きを調べているのです。

「大食いコンテスト」では、

  1. まず「赤外線ライト」から発せられた赤外線の光がプレイヤーの口の周りをピカッと照らします。
  2. 次に、パクパク動く口の動きに合わせて反射した赤外線を「IRカメラ」が捉えて映像化し、Nintendo Switchの中に送ります。
  3. Nintendo Switchはその映像を見て口が空いているのか、閉じているのか「動き」を判断しているというわけです。

ちなみに、モーションIRカメラは捉えた映像を、そのままNintendo Switchに送ることもあれば、Nintendo Switchが映像を判断しやすいように、カメラ内部で加工した映像を送ることもあります。

ただし、Nintendo Switchは人間ではなく機械ですから、口の映像を送るだけで自動的に「これは口だ!」と認識できるわけではありません。そこでゲーム開発者は、Nintendo Switchが認識できるように「口の映像とはこういうものだよ」ということを前もってプログラムしているんです。

このプログラムを変えれば、「モーションIRカメラ」は口の動き以外にもいろいろなことを認識することができます。たとえばグー・チョキ・パーの手の形を認識したり、かざした手の距離を認識したりすることだってできるんですよ。

暗闇で「大食いコンテスト」してみた。

ところで、先ほど「『赤外線ライト』が口の周りを赤外線の光でピカッと照らし出します。」とお伝えしましたが、赤外線は目に見えない光なので「ピカッと」と言われても本当にそうなのか?と疑問に思いますよね。そこで、それを確かめるためにこんなことをしてみました。

暗闇の中一人で『1-2-Switch』を楽しむこの男性は一体……。

その疑問はさておき、「モーションIRカメラ」に使われているものとは別のIRカメラを用意して、この暗闇で1-2-Switchをプレイする男性を撮影してみると……。

男性の口の周りが、ピカッと光っているのがお分かりいただけると思います。これは、モーションIRカメラの中にある「赤外線ライト」の光です。赤外線ライトの光が口の周りにあたって、明るく見えています。

赤外線ライトは人間の目には見えないので、いくらピカッと照らしていても、人間の目には暗闇にしか見えませんが、この映像を撮影したIRカメラや、モーションIRカメラに入っているIRカメラであれば、赤外線ライトの光を捉えることができるので、口の周りをピカッと明るく認識することができるんですよ。

モーションIRカメラをつかったゲーム

モーションIRカメラのしくみについての説明は以上になります。いかがでしたか?
最後に、モーションIRカメラをつかったゲームをいくつか紹介して終わりたいと思います!

1-2-Switch(ワンツースイッチ)

[任天堂]

  • 2017.3.3発売

モーションIRカメラを利用したゲーム「大食いコンテスト」が収録されています。それ以外にも「加速度センサー」「ジャイロセンサー」を利用したゲームが多数収録されており、Joy-Conの機能をフル活用した1本です。

    おまけ1: どうして赤外線は目に見えないの?

    どうして赤外線は目に見えないのか気になる方も多いのではないでしょうか?その秘密について、少し説明したいと思います。

    実は、光は下の図のように波打ちながら進んでいます。

    この図で、波が下がって再び同じ高さまで上がってくるまでの長さを波長というのですが、この波長の長さによって、光の色が変化します。波長が長いと人間の目には赤色に見え短いと紫色に見えます。

    ただし、人間の目の能力には限界があり、すべての波長の光を見ることはできません。波長が長すぎても、短すぎても見ることはできないのです。赤外線は波長が長すぎて人間の目で認識することができない光になります。

    光の種類には赤外線以外にも色々あります。上の図は光の種類を波長の長さによって分類した図になります。右に行くほど波長が長い光です。人間の目で認識でいる波長の範囲の光のことを「可視光(かしこう)」といいます。可視光のなかで一番波長が長い光は赤色ですが、それよりさらに波長が長くなると、赤外線となるのです。赤色の光よりもさらに外側に分類される光だから赤外線というんですね。

    ちなみに、日焼けの原因としてよく耳にする「紫外線」も光の一種です。こちらは赤外線の逆で、波長が短すぎて目に見えない光となります。紫色の外側にある光なので「紫外線」といいます。

    おまけ2: 光は反射する。赤外線も反射する。

    懐中電灯を鏡に当てたらどうなるでしょうか?自分の方に返ってきますよね。この光の性質を「反射」といいます。

    さて、赤外線は光の一種であると言うことは説明しましたね。同じ光ならば反射する性質が赤外線にもあてはまるはずです。このことを実験で確かめてみましょう。

    鏡を利用して、リモコンが届かないところから、テレビの電源を消す実験をしてみました。

    テレビの電源を消すことに成功しました!赤外線も、普通の光と同じように、鏡で反射することがわかりましたね。

    このように、赤外線は目に見える普通の光と同じ性質を持っていることがわかりました。赤外線は光の一種といわれても、肉眼では見えないのでピンと来なかった人も多かったかもしれませんが、このように同じ性質を持つことからも、普通の光と赤外線は仲間だということがなんとなくわかっていただけたでしょうか?

    いかがでしたか?今回は光の性質のうち最もわかりやすい「反射」について説明しましたが、赤外線についてもっとくわしく知りたくなったら、ぜひ本やインターネットで調べてみてくださいね!

    さいごに

    これまで全4回にわたって、学研さんにご協力いただき、Joy-Conのヒミツに迫ってみました!

    ゲームの裏側には、こういったさまざまな技術が使われていたんですね。この特集を通じて、ゲームを支える技術について、少しでも「なるほど!」と思ったり、「もっと知りたい!」と興味を持っていただけたならうれしいです。

    これまでお付き合いいただきありがとうございました!それでは!

    1-2-Switch: ©2017 Nintendo
    信長の野望・創造 with パワーアップキット: ©2013-2017 コーエーテクモゲームス All rights reserved.
    三國志13 with パワーアップキット: ©2016-2017 コーエーテクモゲームス All rights reserved.

    この記事のほかにも、こんな記事があります。