Шумоподавление на чипе современных CMOS-фотосенсоров

По материалам кандидатской диссертации

У многих из нас есть цифровые фотокамеры - с их помощью можно сделать очень хороший снимок, даже если это камера мобильного телефона. Изображение современных камер отличается детализованностью и низким уровнем шумов. Как же им это удаётся?

Большинство современных цифровых фотокамер оснащены CMOS-сенсорами. Как известно, одним из главных недостатков CMOS-сенсоров является их высокий уровень шума. Тем не менее, современные CMOS-фотосенсоры, произведённые по 4/5Т-технологии, позволяют получать изображения с уровнем шумов, сравнимым с уровнем шумов CCD-фотосенсоров. Это достигается шумоподавлением на самом фотосенсоре и CMOS-пикселе. Данное обстоятельство следует учитывать при проведении измерений и регистрации сигналов на CMOS-фотоприёмники, а так же при оценке характеристик CMOS-сенсоров. 

Широкое применение CMOS-сенсоров связано с их весьма важным достоинством: при увеличении размеров фотосенсора энергетические затраты на передачу данных об изображении практически не увеличиваются. Если количество считывающих каналов в CMOS-сенсорах остаётся неизменным, то энергопотребление сенсора остаётся одинаковым и не возрастает при увеличении размера сенсора (см.Рис. 1). С другой стороны, CCD-сенсоры перемещают зарядовые пакеты, и это существенно более энергозатратно. Убыстрение процесса считывания в CCD-сенсорах так же приводит к дополнительному расходу энергии, что нежелательно в портативной технике. Даже по сравнению с малыми сенсорами, CCD-сенсоры потребляют вдвое больше энергии, чем CMOS, что видно на Рис.1. Сравнение полноформатных, 35-мм сенсоров показывает, что CCD-сенсоры потребляют почти втрое больше энергии, чем CMOS.

Рис.1: Сравнение энергопотребления современных CMOS и CCD-фотосенсоров.
Однако при проведении оценки характеристик CMOS-сенсоров следует учитывать то обстоятельство, что получаемые изображения для оценки темновых и световых шумов в значительной степени предобработаны электроникой камеры ещё до записи в RAW-файл или передачи в компьютер для последующей обработки. Ниже следует краткое описание методов шумоподавления на CMOS-фотосенсорах
Для того, чтобы устранить высокий уровень шумов CMOS-сенсоров, требуется создавать фотосенсоры с большим количеством транзисторов. Именно это позволяет производить шумоподавление внутри каждого пикселя, что приводит к существенному снижению уровня шума. Это потребовало создания сложных технологий 4/5Т производства CMOS-фотосенсоров.

Подавление темновых шумов

Называемый так же FPN, Fixed Pattern Noise, этот шум представляет собой разное смещение уровня сигнала для разных пикселей фотосенсора. В CMOS-сенсорах, помимо FPN, имеется так же неоднородность сигнала по столбцам. Основным методом устранения такого шума является метод CDS, Correlated Double Sampling. Процесс шумоподавления по методу CDS проиллюстрирован на Рис.2.


Рис.2: Метод CDS для подавления фиксированного шума на изображениях, зарегистрированных фотосенсорами CMOS.
В методе CDS производится одновременное считывание светового сигнала и темнового двумя независимыми считывателями. Темновой сигнал накапливается в пикселях фотосенсора, которые защищены от света. Сначала считывается только информация о темновом шуме, потом считывается световой сигнал вместе с темновым шумом. Далее из считанного сигнала вычитается темновой шум. После этого на изображении, зарегистрированным CMOS-фотоприёмником, фиксированный шум FPN компенсирован (см.Рис.3). Для этого использование технологии 4/5T является критичным.

Рис.3: Процесс шумоподавления по методу CDS.
Однако большее искажение в регистрируемое изображение вносит шум, связанный с неоднородностью фоточувствительности. Это вытекает из того факта, что технологически невозможно изготовить миллионы одинаковых CMOS-пикселей с усилителями внутри.

Подавление шума, зависящего от светового сигнала

Так как каждый пиксель CMOS-сенсора содержит несколько транзисторов, управляющих передачей данных, технологически невозможно сделать их идентичными. Это приводит к неоднородности величины сигнала даже при регистрации плоского светового поля, что проиллюстрировано на Рис. 4

Рис.4: Сигнал, подверженный шуму, вызванному неоднородностью фоточувствительности.
Изображения, полученные с ранних образцов CMOS-сенсоров, были подвержены шуму неоднородности фоточувствительности из-за того, что сброс темнового заряда на фотодиодах был неполным (см.Рис. 5)
Сначала производится сброс значения фотодиода, затем производится регистрация полезного сигнала (S). Следует заметить, что в процессе регистрации светового сигнала так же регистрируется и шум (S+N1). Далее считывался сигнал вместе с шумом (S+N1), фотодиод сбрасывался и считывалось значение шума (N2). Это приводило к тому, что на изображении оставался шум.

Рис.5: Неполный сброс значений фотодиодов приводит к считыванию сигнала с остаточным шумом.
Развитие технологии производства фотодиодов по 4/5Т-технологии сенсоров CMOS позволило более эффективно подавлять шумы, связанные с неоднородностью фоточувствительности. Так, был разработан метод полной передачи заряда. Каждый фотодиод содержит ячейку для запоминания темнового шума и ячейку для накопления светового сигнала (см.Рис. 6).

Рис.6: Метод полной передачи заряда для устранения шума, связанного с неоднородностью фоточувствительности.
Сначала считывается остаточный заряд, включающий в себя темновой и световой сигнал. Этот сигнал остаётся в ячейке фотодиоде, хранящей информацию об уровне шума, после чего производится сброс всех фотодиодов матрицы фотосенсора.
После завершения экспозиции, значение сигнала и значение шума считываются независимо - происходит замер текущего уровня шума.
Темновой заряд (N) и световой заряд (S) накапливается в разных ячейках одного и того же фотодиода. После того, как уровень шума (N) считывается, передаётся количество заряда из ячейки фотодиода, которая накапливала световой заряд. Происходит объединение уровней заряда (S+N) и считывание как целого. Так как уровень шума (N) известен для того же фотодиода, происходит их вычитание и, таким образом, считывается только информация о сигнале. Это и составляет основу метода полной передачи заряда
Кроме того, шум, вызванный неоднородностью фоточувствительности, возрастает с увеличением усиления ISO. Поэтому в ряде коммерческих цифровых фотокамер применяются технологии, которые усиливают сигнал в зависимости от уровня ``сигнал/шум'' на изображении. Сигналы с высоким соотношением ``сигнал/шум'' посылаются на усилители с большим коэффициентом усиления. Это позволяет CMOS-фотосенсорам выдавать изображения высокого качества в условиях съёмки, требующих высокого значения ISO и длинных экспозиций.

Ссылки
Пост подготовлен по материалам технической документации компании Canon на цифровые камеры Canon серии EOS и полноформатные фотосенсоры.

11 комментариев: |высказаться!| RSS-лента дискуссии.|
geekobyte комментирует...

Хм. А можно пдфку самой диссертации посмотреть? (типа как образчик красивого оформления в техе)
Вы уже защитились?

virens комментирует...

2 geekobyte комментирует...
Хм. А можно пдфку самой диссертации посмотреть?Пока не готово. Это самые интересные куски из неё, остальное скучно и занудно :-)

(типа как образчик красивого оформления в техе)К сожалению, отечественный имперский стиль убивает оформление диссертации. Крупный шрифт и аршинные поля вместе с расстоянием между строк делают диссертацию слишком "пухлой" (по объёму) и неудобочитаемой.

Вы уже защитились?Ещё нет, но усиленно гребу в этом направлении :-)
Надеюсь, что осенью защищусь.

Анонимный комментирует...

дорогой аффтар!!!111
что есть ссылки [19-21]?

>"шум, вызванный неоднородностью
>фоточувствительности, возрастает с увеличением
>усиления ISO. Поэтому в ряде коммерческих
>цифровых фотокамер [19] применяются технологии,
> которые усиливают сигнал в зависимости от
>уровня ``сигнал/шум'' на изображении. Сигналы с
> высоким соотношением ``сигнал/шум'' посылаются
> на усилители с большим коэффициентом усиления.
> Это позволяет CMOS-фотосенсорам выдавать
>изображения высокого качества в условиях
>съёмки, требующих высокого значения ISO и
>длинных экспозиций."

- а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции? не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?

Миша.

virens комментирует...

2 Анонимный комментирует...
дорогой аффтар!!!111Да-да? :-)

что есть ссылки [19-21]?Недогляд от недосыпа. Спасибо, Миша, исправил. Вот она, сила анонимных комментаторов (жаль, что спамеров много...).

а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции?В неспециализированных фотосенсорах, как правило, чем короче экспозиция, тем меньше шума (и темнового, и светового).

Есть у нас техническая камера PixeLink, так вот при выдержках больше 200мс изображение засыпает шумом типа "соль и перец". Вот тебе и техничка за 4000$ :-(

не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?Про скоростные фотосенсоры я, честно говоря, не особенно в курсе, т.к. с ними дела не имел.
У нас задача регистрации световых полей от объектов при, мягко выражаясь, недостаточном освещении (маломощный лазер / ртутная лампа). Мы не крэщ-тесты проводим :-)

Анонимный комментирует...

Спасибо за ответы.

>>а если экспозиция короткая, например, есть же
>>быстрые cmos сенсоры для регистрации времени
>>жизни флуоресценции?
>В неспециализированных фотосенсорах, как правило,
> чем короче экспозиция, тем меньше шума (и
>темнового, и светового).

а как при этом может меняться соотношение сигнал/шум?

измерение времени жизни флуоресценции - задача похожая на вашу в том смысле, что интенсивность регистрируемого излучения (флуоресценции) обычно низкая, но плюс к этому регистрировать сигнал надо несколько раз очень быстро и в заданное время, поскольку интенсивность снижается экспоненциально. Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd. Для нас немаловажно снижение энергопотребления, т.к. измерения, в конце концов, будет производить полностью автономный прибор. Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.

Миша.

Анонимный комментирует...

> Темновой заряд (N) накапливается в одной
>ячейке фотодиода, а световой заряд (S)
>накапливается в другой ячейке того же
>фотодиода. После того, как уровень шума (N)
>считывается, передаётся количество заряда из
>ячейки фотодиода, которая накапливала световой
>заряд. Происходит объединение уровней заряда
>(S+N) и считывание как целого. Так как уровень
>шума (N) известен для того же фотодиода,
>происходит их вычитание и, таким образом,
>считывается только информация о сигнале. Это и
>составляет основу метода полной передачи заряда

довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше). хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой? опять получается, что сигнал и шум зарегистрированы в разных приборах?

как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.

Миша.

virens комментирует...

2 Миша
а как при этом может меняться соотношение сигнал/шум?Интересный вопрос, на самом деле. Есть предположение, что должен увеличиваться, но экспериментальных данных у меня на этот счёт нет.

Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd.Думаю, что ощутимых преимуществ это не даст: CCD даёт всё-таки меньший уровень шумов, как ни крути. Тем более это важно в измерительной технике. Мы-то камерами пользуемся, потому что другого ничего нет (во всяком случае, до последнего времени не было).

Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.Самое замечательное в CMOS - это их возможность делать ROI (Region of interest), меньшее энергопотребление (для нас малоактуально), и широкие возможности по обработке изображений on-chip. Для примера можно посмотреть на Pixim: эти орлы делают фотосенсоры с динамическим диапазоном 120 dB, т.е. HDR в действии.


довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше).Почему? Пиксель поделён, грубо говоря, на две части: в одной копится световой заряд, в другой - темновой шум. Одно из другого вычитается, имеем изображение с малым уровнем шума. За подробностями можно обратиться к первоисточнику, из которого, собственно, эти данные и взяты.

Напоминаю, что все эти манипуляции проводятся в пределах ОДНОГО пикселя, о чём, на мой взгляд, достаточно прозрачно написано в тексте.

хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой?Я немного поправил текст, вроде стало понятне. Фотодиод поделён на две ячейки: в одной копится световой сигнал, во второй - темновой сигнал.

опять получается, что сигнал и шум зарегистрированы в разных приборах?В одной ячейке.

как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.Как я понял, что сначала фотодиоды сбрасывают, потом считывают остаточный заряд (запоминают), потом идёт экспозиция, во время которой копят сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом вычитают остаточный заряд и темновой шум.

На всякий случай, привожу оригинальную статью.

Спасибо за такие развёрнутые комментарии, Миша, они делают посты понятнее и лучше.

Анонимный комментирует...

>>Фотодиод поделён на две ячейки: в одной копится
>> световой сигнал, во второй - темновой сигнал.
>>
>>опять получается, что сигнал и шум
>>зарегистрированы в разных приборах?
>В одной
>ячейке.
>
>>как мне показалось, речь идет о том, что шум
>>считывают (и его значение сохраняют) перед
>>накоплением сигнала, а не после него. ну а
>>потом вычитают.
>Как я понял, что сначала фотодиоды сбрасывают,
>потом считывают остаточный заряд (запоминают),
>потом идёт экспозиция, во время которой копят
>сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом
>вычитают остаточный заряд и темновой шум.

ячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный; сигналы независимо считывать, вычитать и получать снижение флуктуаций чистого сигнала? и получается, что одна из ячеек фотодиода вообще никогда не экспонируется? в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.

у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.

Миша.

virens комментирует...

2 Миша
ячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный;На уровне предположений: светочувствительная область занимает около 30%, и сделать такую же, но зачерённую, думаю, не rocket science. Детали, понятное дело, нам ребята из Canon не откроют - у них свои производственные мощности и своё R&D.

и получается, что одна из ячеек фотодиода вообще никогда не экспонируется?Скорее всего, да. Но это мои предположения. Они подкрепляются текстом лекции Orly Yadid-Petch (она предложила в своё время концепцию Active Pixel Sensor), и там в районе стр.14 рассказывается нечто подобное. На всякий случай ссылка.

в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.Ну, и ко мне в частности :-)
Вообще документация у ребят из Canon написана очень обтекаемо: например, они очень красиво обходят вопрос о том, что в Canon EOS 400D и 40D стоит один и тот же фотосенсор. Это они называют "основанный на сходных с 400D" технологиях :-)

у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.Так оно и есть: сенсоры они разрабатывают сами, так что выдавать всю подноготную не в их интересах.

Надеюсь, что хоть что-то вы из моего поста полезного извлекли. И спасибо за комментарии - они натолкнули на полезные размышления.

Анонимный комментирует...

Да. Спасибо за пост и за ответы.

Миша.

boxit комментирует...

CMOS-сенсоры менее чувствительны?

Отправить комментарий

Подписаться на RSS-ленту комментариев к этому посту.