写真を拡大してもぼやっとさせず、元の写真の印象に忠実にくっきりと
ニューラルネットワークアップスケーリング技術
撮影した写真を大判でプリントする時やトリミングをする時に、 「拡大しても元の写真の印象と同じように細かいところまでしっかり描写された写真にしたい！」というフォトグラファーなら誰もがもつ願望。その期待に応えるために、キヤノンは独自のディープラーニング画像処理技術で「あるがままの情景」を細部まで再現することにこだわったアップスケーリングを実現しました。
2023/10/6
画像データを高解像度に変換する「アップスケーリング」
デジタルカメラやスマートフォンで撮った写真を大きくプリントした時、あるいは写真の一部を切り取って（=トリミングして）拡大した時、元の写真よりも少しぼやっとした印象になってしまった経験は誰にでもあるかもしれません。写真の解像度はカメラの画素数によって決まるため、撮影した写真の一つひとつの画素をそのまま拡大すれば、写真が粗く見えていくのは当たり前。それを解決するために生まれたのが、画像を元の解像度より高い解像度へと変換する「アップスケーリング」と呼ばれる画像処理です。アップスケーリングで大切なのは、いかに「解像感」を保てるか？ということで、ただ単に解像度を上げるだけでは、細かいところ（ディテール）までしっかりと描写されている印象（＝解像感）を保つことはできないのです。
解像感が失われることが多かったこれまでのアップスケーリング
これまでのアップスケーリングでは、「バイキュービック補間」と呼ばれる方法が比較的有効で、一般的でした。画像の拡大によって足りなくなる画素をそのまわりの画素の色や輝度の情報を使ってつくり出す方法ですが、輪郭などの「境界部分」では、拡大した時にシャープに見えるように解像感を保とうとすると、白や黒のふちができて輪郭が太くなってしまいます。逆に、白や黒のふちがあまり目立たないようにすると、結果的に元の画像より解像感が損なわれてしまうというジレンマがありました。
解像感を保ちながらリアリティにこだわったアップスケーリングを実現
これまでも、独自のディープラーニング画像処理技術によって、ノイズや偽色、レンズ収差など写真の原理上の課題を補正して「あるがままの情景」の再現を可能にする「Neural network Image Processing Tool」を提供するなど、キヤノンは画質にこだわるカメラメーカーとして撮影後の画質向上にも注力してきました。アップスケーリングにおいても、ディープラーニングによる画像処理ノウハウとカメラ・レンズを知り尽くす経験を生かせば、これまでの課題を解決できると開発を進めました。
その結果、製品化した「ニューラルネットワークアップスケーリング技術」では、ディープラーニングによって境界部分の画素の情報も過剰に加工することなく忠実に推定。色、輝度、およびノイズ感を変えることなく、縦横の画素数を2倍、全画素数を4倍に変換。被写体の境界のボケを抑え、画像拡大前の小さなサイズで見ていた時の自然な解像感を保ちながらも、被写体本来がもつリアリティに満ちたアップスケーリング画像を実現しました。特に、動物の細かな毛並みや輪郭のはっきりした構造物や文字、広角で撮影した広範囲の風景写真などでは解像感の高いアップスケーリングの効果を実感することができます。また、これまでに発売されたキヤノンのカメラや、他社のカメラで撮影した画像であっても適用可能で、これまで撮影した写真をシャープに鮮明にすることで思い出や記録も見返して楽しむことができます。
カメラ・レンズを知り尽くすからこそできたディープラーニング
ディープラーニング画像処理においては、学習の目標となる「教師」画像と補正したい「生徒」画像のペア（＝学習データ）をどれぐらい用意できるかということがきわめて重要です。キヤノンはこれまで培ってきたカメラ・レンズの開発の強みを最大限に利用し、拡大画像に相当する高解像度画像（「教師」画像）と元の画像に相当する低解像度画像（「生徒」画像）との組み合わせによる学習データを大量に生成してアップスケーリング技術の開発を進めることができました。
学習データ生成にあたって、キヤノンには、大きな強みが2つありました。その一つが、カメラ、レンズの開発で蓄積された膨大な画像データベースです。さまざまな被写体がカバーされるとともに、「JPEG」データなどよりも詳細な情報をもつ高精細な「RAW」データを大量にもち、これらを元に大量の学習データを生成することができます。
そして、もう一つの強みが、これもまた長年にわたるカメラ・レンズ開発の経験とノウハウによって確立され、迅速な開発を支えてきた撮影シミュレーション技術です。レンズがとらえた光がカメラによって画像になるまでの撮影プロセスを精密に再現し、撮影画質をシミュレーション。カメラや交換レンズの機種、撮影の設定などによる違いも再現でき、学習データの生成にも大きな威力を発揮しました。
これら2つの強みを組み合わせることにより、ディープラーニング画像処理技術を開発するための、膨大な学習データを生成することが可能となったのです。
あるがままの情景をアップスケーリング
技術的には、ディ－プラーニングで画素をもっと増やして、解像感をさらに高めることも可能です。しかし、「過度な」解像感の向上は、一見、解像感の高い処理結果に見えても、被写体にはない構造を画像に発生させることがあります。そうすると、写真としての真正性は低下し、「あるがままの情景」とは言えないものになってしまいます。
キヤノンは、カメラで画像がつくられるプロセスを詳細に把握することで培った画像処理技術をディープラーニング技術と組み合わせることができたからこそ、画像の解像感を高めつつ、真正性の低下を抑えるアップスケーリングを実現。拡大した写真でも元の写真の印象を維持できる技術にすることができました。
キヤノンはこれからも、カメラ、レンズを進化させながら、撮影後の画質向上にも力を注ぎ、お客さまが「幸せを感じる」撮影体験を追求していきます。
関連記事
詳しい技術解説はこちらをご覧ください。
PDFダウンロード
（PDF形式／9.06MB）
アップスケーリングをご体験いただけます。ぜひお試しください。
Neural network Upscaling Tool