独自のディープラーニング画像処理技術を確立し、写真の原理上避けられない現象の補正を実現

2023/2/20

#最先端を切り拓く技術#AI

ある瞬間、ある場所の光景は二度と訪れることはありません。しかし、それはカメラで記録することができます。見たことがなかった絶景や、後で見返せば記憶がまざまざとよみがえる感動の瞬間など、カメラは素晴らしい瞬間を写真として残してくれるのです。

ところが、実は写真の画質には、避けることのできない課題がいくつかありました。例えば写真がざらついた感じに見えるノイズや、本来はないはずのまだら模様が見えるモアレ、レンズの原理に起因する像のボケなど、写真に影響を与える光学的要素により、見ている光景にはない情報が写りこんでしまうことがありました。広角レンズを使った場合のレンズ中心から外れた周辺部分の画質は、レンズの光学性能が低下してぼけやすく、プロフォトグラファーの撮影技術をもってしても、カバーしきれずにいたのです。

AIの技術が進み、ディープラーニング^※1技術がさまざまに応用されるようになったいま、キヤノンは、カメラ・レンズを知り尽くしたリーディング企業として、写真の原理上避けられない「カメラに残された課題」の解決に向けて、自らディープラーニング画像処理技術の開発に正面から取り組みました。

本来の「あるがままの情景」の写真を実現するために、キヤノンが挑んだディープラーニング画像処理技術は、ノイズリダクション、色補間、収差回折補正（レンズのボケ補正）の3つの領域。いずれの領域も、これまで原理上の課題とされてきました。

そもそもディープラーニング画像処理技術の結果を高精度にするためには、「教師画像」と「生徒画像」のペア（＝学習データ）をどれぐらい用意できるかが大きなカギを握っています。キヤノンには、これまでのカメラ、レンズの開発で蓄積されてきた膨大な画像データベースがあり、考えうるあらゆる被写体がカバーされるとともに、JPEGなどより詳細な情報を持つ「RAW」データで保持されています。さらに、どのようなカメラ設定で撮影すると、どのような画質への影響があるかを熟知したカメラメーカー独自のノウハウも使って、理想的な学習データを大量に揃えることができたのです。

ノイズを除去する機能は、これまでも多数開発されてきましたが、ノイズの除去にともない、被写体のディテールまでが失われ、画像の品位が低下してしまうことがほとんどで、プロフォトグラファーからも改善の要望が高い領域でした。決定的な手法がない中、キヤノンは、劣化の少ない画像データ、処理の難しい画像データを大量に揃えられる強みを十二分に生かしてディープラーニングを行うことで、クリアで高品位な画像を得られるノイズリダクション画像処理を突き詰めていきました。

しかし、ディープラーニングも万能ではありません。撮影シーンによっては、部分的に従来の画像処理よりも悪くなる「誤補正」も少なからず現れます。高いハードルとなったこの課題に、キヤノンは、ニューラルネットワークそのものの構造に変更を加える一方で、学習プロセスを見直し、学習データを工夫するなど、カメラで生まれるノイズというものを熟知するキヤノンならではのノウハウをつぎ込みました。その結果、クリアで高品位な画像を得られる「Neural network Noise Reduction」機能を確立。高感度撮影において光の情報を増幅させると同時に増幅されていたノイズの除去や、ノイズの発生によって阻害されていたなめらかな肌の質感（スキントーン）の表現などが可能になりました。

デジタルカメラでは、イメージセンサーの画素一つひとつが規則的に並んでいるため、縞やチェック柄などを撮影すると、規則的なパターンの重ね合わせとなって、本来はないはずのまだら模様（モアレ）が発生するという原理的な課題がありました。また、イメージセンサーの1つの画素は赤（R）、緑（G）、青（B）の光3原色のうちの1色だけを検出し、残りの2色に関してはまわりの画素の情報を参照して推測することで1つの画素のRGBデータが生成されています（これを色補間処理と言います）。この処理のために、実際の被写体には存在しない「偽色（色モアレ）」や、斜めの線がギザギザに見えてしまう「ジャギー」の発生も原理上避けることはできませんでした。従来これらの画像劣化を抑える処理がさまざま開発されてきましたが、劣化を抑えることにより解像感や色再現性の低下が発生することが避けられませんでした。

キヤノンは豊富な画像データベースを活用し、「Neural network Demosaic」と名付けられた色補間のディープラーニング画像処理技術を確立。人間の視覚が明るさの違いに敏感に反応し、色の変化にはあまり反応しないという視覚特性まで考慮して、学習データセットを構築しました。その結果、色補間処理において推測が難しい被写体を重点的に学習させることで、誤補間を抑制。縞模様のシャツの偽色、斜め線で目立つことが多かったジャギー、ペットの写真などで目立ったモアレや偽色なども的確に補間し、解像感や色再現性も向上させることができるようになりました。

光をカメラに取り込むレンズには光学の理論上、収差^※2や回折ボケ^※3といった逃れられない課題があります。高性能なレンズでは凹凸レンズの組み合わせや非球面レンズ、特殊な材料などを駆使して、収差を最小限にとどめることに成功していますが、完全に除去することは原理上不可能です。キヤノンが開発した収差回折補正のディープラーニング画像処理技術「Neural network Lens Optimizer」ではこれらの画像劣化を補正し、解像感を大幅に向上させることができます。

「どういう収差、回折ボケがどのように生まれるのか？」。キヤノンは開発・設計をする段階でレンズ一本一本ごとに原理上発生する収差や回折ボケを詳細まで熟知しています。そこで、レンズ一本一本ごとの設計値をもとにシミュレーション技術を駆使して、収差や回折ボケが有る生徒画像と、それが無い教師画像のペアを高精度かつ大量に作成。それらをディープラーニングの学習データとして使用し、風景撮影や天体撮影など画像周辺部まで鮮明に描写したいときに、細部に発生していたさまざまなボケを補正することに成功しました。また従来、ボケを補正すると増幅されていたノイズを増やすことなくボケのみ補正することも可能になりました。

さらにこの収差回折補正は、光が明るすぎて画像情報が得られず補正自体が困難だった、被写体の白飛び部分で目立ちやすいボケに関しても補正効果を発揮します。しかし、白飛び部分のボケの補正を学習できるような学習データを用意するだけでは、思わぬ誤補正が起きてしまうことがあります。さらに、この白飛びに関連するボケの補正の研究発表はこれまでほとんどなかったため、超えるべき課題を自ら新たに発見して、その未知だった原理まで解明する必要がありました。CGの活用などによって学習データの改善に取り組む一方で、ニューラルネットワークの構造や、実行後の画像処理にもさまざまな工夫と試行錯誤を施し、白飛び部分で目立ちやすいボケに対しても高精度なボケ補正がようやく実現できたのです。

ディープラーニング画像処理技術により実現した3つの領域の画像補正は単独で実行するよりも、組み合わせることでより高いレベルの補正が可能となり、細部の描写や写真の立体感など大幅な画質向上を実現します。例えば、収差回折補正は、ノイズを増やさないようにボケを補正しますが、ノイズが残っていると画像の細部で収差回折補正の効果が生かされません。ノイズリダクションを適切に組み合わせることで収差回折補正の本来の性能が最大限発揮されることになるのです。

そのためには、各技術の組み合わせ、順序を最適化するアルゴリズムの開発が必要で、カメラ開発、レンズ設計、画質評価、製品実装などの関係部門が、物理的にも密接な連携を図ることができるキヤノンだから実現した画像処理補正技術と言っても過言ではありません。

いままでは、夜景を撮影したいとき、多くの光を取り込めるようにレンズの絞り値を小さくして撮影すると収差が現れて解像感が低くなっていました。逆に絞り値を大きくすると光量が少なくなり、感度を上げなくてはならず、結果としてノイズが発生していました。また、風景を手前から奥までシャープに写す「被写界深度の深い」写真は、深度を深くしようと絞り値を大きくすると回折ボケが起こってシャープネスが低下していました。しかし、それを避けようとすると被写界深度を深くできず、意図する表現ができないなど、思い通りに撮影できないジレンマに陥ることが多くありました。

キヤノンのディープラーニング画像処理技術により、収差、ノイズ、モアレなどを大きく低減し、白飛びを含む被写体のボケ補正など、これまで不可能だった画像補正処理ができるようになりました。

撮影者が画質の劣化を恐れてISO感度を下げることなく、理想の設定で撮影できるシーンが増え、「あるがままの情景」を細部まで再現できるようになり、撮影領域・写真表現の幅は大きく広がっています。

キヤノンはこれからも、ユーザーが「幸せを感じる」撮影体験を求めて、画像処理技術を進化させていきます。