ネットワークカメラなどで撮影した映像を鮮明にする画像処理技術
画像鮮明化技術
港湾や空港などでは、厳しい撮影環境においてもいち早く対象物を発見できる高度な撮影システムが求められています。キヤノンは長年培ってきたレンズやセンサーの知識を生かした画像処理技術を活用し、社会課題の解決に寄与していきます。
2023/10/16
ディープラーニングを活用した画像処理技術で鮮明な映像を生みだす
近年、安全管理の観点から国境や港湾、空港などで、昼夜を問わず、また遠方においても、いち早く対象物の有無や不審な動きを察知できる高度なシステムが求められています。キヤノンは、ディープラーニングを活用したさまざまな画像処理技術を研究し、ネットワークカメラなどで撮影した映像における対象物の変化が、暗闇や遠方でも鮮明にわかるよう、付加価値のある映像に変える技術開発に取り組んでいます。
たとえば、屋外に設置されているネットワークカメラは、夜間の暗い環境下で歩いている人も撮影することがありますが、暗闇での撮影では、ISO感度を上げるとノイズが多く入り、ざらついた感じの映像として記録され、そのままでは状況が正確に把握しにくい映像として残ってしまいます。そこで、キヤノンではノイズをディープラーニングで予測し、ノイズのみを除去する画像処理技術を開発しました。
キヤノンが開発した画像処理技術（10秒）
ディープラーニングを活用した画像処理において重要なことは、「本来の見たい画像が、悪条件下で撮影するとこのように劣化してしまう」という、いくつもの事例を知り得ていることです。キヤノンは長年にわたりカメラの開発・生産を行っており、レンズやセンサーの特性を知り尽くしています。よって、「暗い環境下で撮影した画像にはノイズが生じるが、その原因の一つはセンサーの電気回路の構造にある」のように、事例だけでなく、その原因についてもたくさんの知識や知見を持っています。劣化した画像を「本来の見たい画像」に処理するための精度の高い事例を数多く蓄積しているため、人の経験や勘に頼らない客観的な画像処理結果にみちびくことができ、悪条件下で撮影した映像の鮮明化を可能にしています。
夜間や悪天候、遠隔地においても見たいものを確実に可視化する技術
また、遠方の対象物をネットワークカメラで撮影する際に、デジタルズームを使用すると写った画像の一部を切り取って拡大するため、画素数が減り解像度が低下します。
このためキヤノンはディープラーニングを活用して補完することで鮮明な映像を取得する「超解像」という技術も開発しました。レンズの光学特性により鮮明さが欠けてしまった映像から、ディープラーニングによりあるべき姿を予測し、映像をより鮮明にすることで、遠方にいる人や車両などをより明確に認識できるようになりました。
加えて、撮影が困難な環境における監視向けとして、霧やもやを除去する技術も開発しています。霧やもやが発生すると明暗差がなくなり、コントラストのない映像になってしまいます。明暗差は、撮影する対象物までの距離によって異なるため、撮影した映像に一律のコントラスト補正をかけてしまうと、比較的はっきりと見えていた映像は補正が過剰となる一方で、はっきりと見えていなかった映像は補正が不十分になります。そこで、撮影する対象物までの距離とその間にある霧やもやの比率を計算したうえで、適切な回復処理を施す技術を開発しました。夜間や悪天候で、人の目では見えにくい状況でも、見たいものを確実に可視化できるようになりました。
霧・もやにより鮮明度が低下してしまった画像
鮮明化処理補正を施した画像
キヤノンはこれからも、レンズやセンサーなどのキーデバイスを自社で開発・生産する強みを生かした画像処理技術を活用し、人の視覚を超えるレベルの鮮明な映像をつくり出すことで、さまざまな社会課題の解決に寄与していきます。
