不思議な六角形のマークがいくつか印刷されているだけで、写真も文字もないパンフレット。だが、ヘッドマウントディスプレイ(以下HMD)を装着すると、このパンフレットがきれいに印刷された図鑑に早変わり、ページをめくれば動物の写真が立体的に飛び出してくる。さらに、まだ建設されていない建築物の中を歩き回ったり、仮想の自動車に乗り込んだりできる。まさに映画の世界―。
こんな体験を可能にしたのが、キヤノンのMR（Mixed Reality：複合現実）システム、「MREAL」だ。MREALは、すでに自動車業界や建築・建設業界などにおける設計・製造の現場で活用され始めている。

キヤノンでは、いつ頃からMRのシステムを開発されていたのでしょう？

安田俊之
1997年には、当時の通商産業省（現 経済産業省）の基盤技術研究促進センターと共同で株式会社エム・アール・システム研究所を設立し、MR技術の開発を進めていました。

最初からモノづくりでの応用を目指していたのでしょうか？

近藤亮史
産業分野、中でもモノづくりに応用しようという方針は当初から定まっていましたね。2007年頃には、試作機を自動車メーカーなどに使用いただき、フィードバックをもらっていました。

安田
2007年には、自由曲面プリズムを使ったHMDやマーカーによる位置合わせ技術、外部センサーの併用など、技術的には現在のMREALの原型ができていました。

歴代のヘッドマウントディスプレイ

一般的なHMDにはさまざまなタイプがある。ディスプレイ方式でいえば、まったく外が見えない「非透過型」、ハーフミラーなどを利用して直接外が見られる「光学シースルー型」、外は直接見えないが、カメラを使ってディスプレイに外の様子も映し出す「ビデオシースルー型」。また、映像を観察する光学系の方式としては、眼前に配置したディスプレイをレンズで覗くというシンプルなタイプ、網膜に直接投影するタイプ、プリズムを使ったタイプなどが代表的だ。キヤノンは、長年蓄積した光学技術のノウハウを活かし、自由曲面プリズムを使ったビデオシースルー型HMDを開発した。小型で軽量なボディでありながら、「利用者の視線」と「カメラの光軸」を一致させ、現実とCGの映像を違和感なく表示できる。

MREALで、自由曲面プリズムを使ったビデオシースルー型HMDを採用したのはどういう理由でしょう？

羽鳥健司
光学シースルー型だと、CGの描画の時間的遅れにより、どうしてもCGと現実の映像がズレてしまうんですね。このズレを回避し、予めＰＣで合成した映像を出力することで、現実世界とCGの違和感のない融合を実現するため、MRにはやはりビデオシースルー型が最適です。

近藤
映像の投影に自由曲面プリズムを使ったのは、HMDを小型化するためというのが1つの理由。もう1つの理由は、違和感のない映像体験を実現するためです。MREALでは、肉眼で見たのと変わらない映像を実現するため、現実の映像をHMD内部に収めたビデオカメラで取り込んでいます。このビデオカメラを配置する位置が不適切だと、その人が普段見ている感覚との差異が大きくなり、違和感が生じてしまいます。このため、コンパクトな自由曲面プリズムを採用し、スペースを作り、ビデオカメラの配置を最適化することで、違和感のない映像体験を実現しています。VR（Virtual Reality：仮想現実）のようにCG映像だけを見るのであればこういう方式である必要はありませんが、MRで現実感の高い映像を体験するためには、今のところこの方法がベストだと考えています。

自由曲面プリズムは、あまり他の光学機器では使われていませんね。

HMDの光学系の仕組み

近藤
カメラのような一般的な光学系では、球面レンズなどの部品が一直線上に配置されています。一方、限られた空間を有効活用したい場合には、光学部品の軸を意図的に傾け光路を折りたたみ、それによって生じる性能劣化を自由曲面などの非球面で補正するという手法があります。このような偏心した光学系は、設計や製造の観点からは難易度の高い技術といえますが、HMDでは広い画角とコンパクトな本体を両立させるために、偏心した光学系を採用することが効果的です。ただし、複数の光学部品で光を折り曲げようとすると大変複雑な構造になってしまいますから、1つのプリズムだけで複数回の光の屈折・反射を行えるようにしています。

そんな複雑な形状のプリズムをどうやって設計するのでしょう？

近藤
近年の光学機器設計では、コンピュータシミュレーションが大きな役割を果たすようになりました。自由曲面プリズムの設計でも、基本的には面同士の間隔や傾き、面の形状などを変数として最適化計算を行い、必要な性能を満たす答えを探索しています。ただ、自由曲面プリズムのような特殊な光学部品は、通常のレンズ設計とはまた違った難しさがあり、一筋縄ではいかないんですよ。

どうしてですか？

フォーカスの合う位置がピンポイントに決まっていると、装着する時に位置を合わせるのが大変です。ある程度の範囲であればフォーカスが合うようにして、装着したらすぐに映像が見られなければなりませんし、少々HMDがずれてしまったくらいで映像が崩れては困ります。使いやすさと光学的な性能のバランスを取るのに苦心しました。

プリズムは100分の1ミリメートル以下という非常に高い精度が求められますが、創業から一貫して光学技術に取り組んできたキヤノンにはノウハウが蓄積されており、それらが鍵となって実現できたと考えています。

私がMREALを体験した時も、あまり調整もせずHMDを装着したら、すぐに映像を見ることができました。

安田
頭の形は千差万別なので、1つの製品で誰にでもフィットさせるようにするのは大変でした。HMDのメカ設計では、さまざまな人種や年齢、性別の頭部形状が収録されたデータベースを参照しましたが、それだけでは不十分です。試作を繰り返しては装着性を確かめる、トライ＆エラーの連続でした。

MRシステムは、HMDだけでは成立しない。現実の映像を取り込みCGと違和感なく合成するには、正確な位置合わせ技術が必要になる。キヤノンでは、六角形を組み合わせた形状の「MREALマ―カ―」を独自開発。さらに、ジャイロセンサーや赤外線センサーといったマーカー以外の外部センサーも併用することで、多様な環境に適用できるMRシステムを作り上げた。

MRシステムでは、現実の映像とCGをぴったり合成するためにそれぞれの位置を合わせる必要があります。
MREALでは、マーカーとジャイロなどのセンサーを利用して、位置合わせするとうかがいました。

羽鳥
開発当初はセンサーのみを使っていたのですが、センサーが高価であり、お客様にできるだけ安価に使って頂くため、センサーに変わる技術の開発に着手しました。それがMREALマーカーです。HMDに搭載されているビデオカメラで現実の映像を撮影するわけですから、対象物にマーカーを貼っておき、それらを見ることで向きや位置を検出しようという発想です。

壁や床に貼って空間座標として使用するだけではなく、例えば工具などを模した現実のモックアップなどにMREALマーカーを貼って、そこにCGを出し、仮想の工具として検証作業に使用するなどといった使い方も可能です。MREALマーカーは2,048種類のIDの識別が可能であり、複数のマーカーを組み合わせて利用することで、位置合わせの精度が向上します。

MREALマーカーは六角形で構成されていますが、なぜ六角形なのでしょう？

羽鳥
図形は丸でも三角、四角でも認識できますが、マーカーの面積をできるだけ小さくするために、面積効率が一番よい六角形を採用しました。実際の現場ではマーカーがカメラに正対しているとは限りません。開発を進めていく過程で、斜めから見た場合にも最も認識されやすいのが六角形だということが分かってきたのです。

HMDを通してマーカーを見るとぴったりその位置にCGが表示されます。開発で苦労したのはどのような点でしょうか？

羽鳥
やはり、処理の高速化でしょう。ユーザーがHMDを着けたまま歩き回っても違和感のない映像を表示しなければなりません。マーカーの撮影、認識、位置の計算、表示という一連の処理を高速に行うアルゴリズム（計算手順）の開発には苦労しました。
また、単純に処理を高速化すればいいというものではありません。マーカーは必ずしもよい条件で撮影されるとは限らず、向きが斜めになっていたり、周囲が暗かったりということもあります。状況に応じた補正処理を加えるとスピードは遅くなりますし、そのあたりのバランスを取るのは大変でした。

高山裕司
私は電気設計を担当しています。MREALでは、HMDのカメラが撮影した映像をパソコンに送り、パソコン上でCGと合成した映像データをHMDのディスプレイへと送り返します。MREALのHMDは、現実映像の入力信号とディスプレイへの出力信号を両眼分、計4チャンネルを送受信するため、データ量が多く、さらにHMDからパソコンまでは約10メートルのケーブルを介してつながっています。これだけケーブルが長いと信号も劣化してしまうため、正確な信号を遅延なくやり取りできるHMDを設計するのに苦労しました。

高山 裕司（たかやま ゆうじ）

専門の技術領域：電気設計

マーカー以外に他のセンサーも併用できるのはユニークですね。

羽鳥
少々悪い条件でもMREALマーカーが認識されるようにはしていますが、極端な話、真っ暗な場所ではマーカーは見えません。お客様の環境に合わせて、マーカーに赤外線センサーやジャイロセンサーを組み合わせられるのはMREALの強みだと思います。

MREALの基本構成

先ほどMREALを体験しましたが、CGの輪に手を差し込むと、輪の中にきちんと手が入っているように表示されました。 どうやって物体同士の前後関係を把握しているのでしょう？

羽鳥
現実の映像とCGの前後関係を判別するのは、実はとても高度な難しい処理です。ビデオカメラで撮影された現実の映像は1枚の平面ですから、CGは必ずその上に表示されることになります。現実の物体の前後関係を厳密に認識しようとすると、特殊なグローブをはめるなどして位置情報を取得する必要がありますが、それではシステムとして大がかりになりますし、自然のままの手を再現できません。

そこでMREALでは、手や工具などの色をあらかじめ登録しておくことで、特定の色に対するCG描画の表示／非表示を制御し、前後関係を認識する手法を採用しました。将来的には、こうした事前の登録作業なしできちんと認識できるようにしたいですね。

CGの輪の中に手を入れた場合
写真左：手とCGの前後関係が正しく表現できていない
写真右：手とCGの前後関係が正しく表現できている

MREALは、すでに自動車業界や建築・建設業界などにおける設計・製造の現場で活用され始めている。巨大な物体の実寸大の映像をメンバーで共有しながら共同作業を進めていく、そんなワークスタイルがこれからは当たり前になっていくのかもしれない。

MREALはどのような分野で活用されているのでしょう？

（協力：JR東日本研究開発センターフロンティアサービス研究所）

羽鳥
主に自動車業界や建築・建設業界において、製品開発期間やコストの圧縮に貢献するツールとして活用されています。その他の分野においては、例えば、博物館での展示や住宅の外観・内装の確認に使われているほか、駅のホームドアを設置する工事でもご活用いただきました。終電後、MREALマーカーをプラットフォームに置いて、ホームドアをどう配置すればよいかを検証したのです。ホームドアを付けることで駅員の死角ができないかなどを、実際に工事を行う前に確認できました。

やはりMREALの強みは、自動車や建築物といった大きなモノを実物大で確認できることにあると思います。どこにでも自由に持ち運べ、広い範囲を歩き回って見られるのがメリットでしょう。

現実の物体とCGが自然に融合しているので、つい手を伸ばしてCGに触りたくなってしまいます。

羽鳥
ソフトウエア開発に熱中していると、私は時々CGに触っているような気がしてきます。

安田
職業病ですね（笑）。

MREALのようなMRシステムが普及することで、働き方やライフスタイルにどのような変化が起こると思われますか？

羽鳥
これまでの設計業務は、エンジニアが担当部分を1人で設計するのが基本でした。MRシステムがもっと低コストで軽量になれば、エンジニア全員がHMDを被り、あれやこれや議論をしながら設計を進めることが当たり前になるかもしれません。

高山
今でもテレビ電話はありますが、CGを合成した映像を見られれば、コミュニケーションの幅が広がりますね。会議の席に座ったまま、離れた場所にいる人に指示を出すこともできそうです。

安田
MRで遠出した気になったら、旅行に行かない人が増えるかもしれませんよ（笑）。

高山
自由に動けない人にとっては、世界が広がる可能性があるでしょう。MRシステムのニーズはきっと思わぬところにあって、いずれは人の行動を変えていくはずです。HMDを気軽に装着できるようになれば、仕事に限らず、いろんな人とコミュニケーションのバリエーションも増え、楽しい世界になるのではないでしょうか。

MRシステムはコンパクトに持ち運べるようになり、モノづくりで実際に使われ始めている。
今よりももっとHMDが小さくなり、現実と仮想が完全に融合した時、モノづくりのみならず、私たちのライフスタイル自体も大きく変化することになるだろう。
キヤノン開発者の熱意が、未知の世界への扉を開こうとしているのを確かに感じた。