По материалам кандидатской диссертации
У многих из нас есть цифровые фотокамеры - с их помощью можно сделать очень хороший снимок, даже если это камера мобильного телефона. Изображение современных камер отличается детализованностью и низким уровнем шумов. Как же им это удаётся?
Большинство современных цифровых фотокамер оснащены CMOS-сенсорами. Как известно, одним из главных недостатков CMOS-сенсоров является их высокий уровень шума. Тем не менее, современные CMOS-фотосенсоры, произведённые по 4/5Т-технологии, позволяют получать изображения с уровнем шумов, сравнимым с уровнем шумов CCD-фотосенсоров. Это достигается шумоподавлением на самом фотосенсоре и CMOS-пикселе. Данное обстоятельство следует учитывать при проведении измерений и регистрации сигналов на CMOS-фотоприёмники, а так же при оценке характеристик CMOS-сенсоров.
Широкое применение CMOS-сенсоров связано с их весьма важным достоинством: при увеличении размеров фотосенсора энергетические затраты на передачу данных об изображении практически не увеличиваются. Если количество считывающих каналов в CMOS-сенсорах остаётся неизменным, то энергопотребление сенсора остаётся одинаковым и не возрастает при увеличении размера сенсора (см.Рис. 1). С другой стороны, CCD-сенсоры перемещают зарядовые пакеты, и это существенно более энергозатратно. Убыстрение процесса считывания в CCD-сенсорах так же приводит к дополнительному расходу энергии, что нежелательно в портативной технике. Даже по сравнению с малыми сенсорами, CCD-сенсоры потребляют вдвое больше энергии, чем CMOS, что видно на Рис.1. Сравнение полноформатных, 35-мм сенсоров показывает, что CCD-сенсоры потребляют почти втрое больше энергии, чем CMOS.
Для того, чтобы устранить высокий уровень шумов CMOS-сенсоров, требуется создавать фотосенсоры с большим количеством транзисторов. Именно это позволяет производить шумоподавление внутри каждого пикселя, что приводит к существенному снижению уровня шума. Это потребовало создания сложных технологий 4/5Т производства CMOS-фотосенсоров.
Подавление темновых шумов
Называемый так же FPN, Fixed Pattern Noise, этот шум представляет собой разное смещение уровня сигнала для разных пикселей фотосенсора. В CMOS-сенсорах, помимо FPN, имеется так же неоднородность сигнала по столбцам. Основным методом устранения такого шума является метод CDS, Correlated Double Sampling. Процесс шумоподавления по методу CDS проиллюстрирован на Рис.2.Однако большее искажение в регистрируемое изображение вносит шум, связанный с неоднородностью фоточувствительности. Это вытекает из того факта, что технологически невозможно изготовить миллионы одинаковых CMOS-пикселей с усилителями внутри.
Подавление шума, зависящего от светового сигнала
Так как каждый пиксель CMOS-сенсора содержит несколько транзисторов, управляющих передачей данных, технологически невозможно сделать их идентичными. Это приводит к неоднородности величины сигнала даже при регистрации плоского светового поля, что проиллюстрировано на Рис. 4 Изображения, полученные с ранних образцов CMOS-сенсоров, были подвержены шуму неоднородности фоточувствительности из-за того, что сброс темнового заряда на фотодиодах был неполным (см.Рис. 5)Сначала производится сброс значения фотодиода, затем производится регистрация полезного сигнала (S). Следует заметить, что в процессе регистрации светового сигнала так же регистрируется и шум (S+N1). Далее считывался сигнал вместе с шумом (S+N1), фотодиод сбрасывался и считывалось значение шума (N2). Это приводило к тому, что на изображении оставался шум.
Развитие технологии производства фотодиодов по 4/5Т-технологии сенсоров CMOS позволило более эффективно подавлять шумы, связанные с неоднородностью фоточувствительности. Так, был разработан метод полной передачи заряда. Каждый фотодиод содержит ячейку для запоминания темнового шума и ячейку для накопления светового сигнала (см.Рис. 6).
После завершения экспозиции, значение сигнала и значение шума считываются независимо - происходит замер текущего уровня шума.
Темновой заряд (N) и световой заряд (S) накапливается в разных ячейках одного и того же фотодиода. После того, как уровень шума (N) считывается, передаётся количество заряда из ячейки фотодиода, которая накапливала световой заряд. Происходит объединение уровней заряда (S+N) и считывание как целого. Так как уровень шума (N) известен для того же фотодиода, происходит их вычитание и, таким образом, считывается только информация о сигнале. Это и составляет основу метода полной передачи заряда
Кроме того, шум, вызванный неоднородностью фоточувствительности, возрастает с увеличением усиления ISO. Поэтому в ряде коммерческих цифровых фотокамер применяются технологии, которые усиливают сигнал в зависимости от уровня ``сигнал/шум'' на изображении. Сигналы с высоким соотношением ``сигнал/шум'' посылаются на усилители с большим коэффициентом усиления. Это позволяет CMOS-фотосенсорам выдавать изображения высокого качества в условиях съёмки, требующих высокого значения ISO и длинных экспозиций.
Ссылки
Пост подготовлен по материалам технической документации компании Canon на цифровые камеры Canon серии EOS и полноформатные фотосенсоры.
Хм. А можно пдфку самой диссертации посмотреть? (типа как образчик красивого оформления в техе)
ОтветитьУдалитьВы уже защитились?
2 geekobyte комментирует...
ОтветитьУдалитьХм. А можно пдфку самой диссертации посмотреть?Пока не готово. Это самые интересные куски из неё, остальное скучно и занудно :-)
(типа как образчик красивого оформления в техе)К сожалению, отечественный имперский стиль убивает оформление диссертации. Крупный шрифт и аршинные поля вместе с расстоянием между строк делают диссертацию слишком "пухлой" (по объёму) и неудобочитаемой.
Вы уже защитились?Ещё нет, но усиленно гребу в этом направлении :-)
Надеюсь, что осенью защищусь.
дорогой аффтар!!!111
ОтветитьУдалитьчто есть ссылки [19-21]?
>"шум, вызванный неоднородностью
>фоточувствительности, возрастает с увеличением
>усиления ISO. Поэтому в ряде коммерческих
>цифровых фотокамер [19] применяются технологии,
> которые усиливают сигнал в зависимости от
>уровня ``сигнал/шум'' на изображении. Сигналы с
> высоким соотношением ``сигнал/шум'' посылаются
> на усилители с большим коэффициентом усиления.
> Это позволяет CMOS-фотосенсорам выдавать
>изображения высокого качества в условиях
>съёмки, требующих высокого значения ISO и
>длинных экспозиций."
- а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции? не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?
Миша.
2 Анонимный комментирует...
ОтветитьУдалитьдорогой аффтар!!!111Да-да? :-)
что есть ссылки [19-21]?Недогляд от недосыпа. Спасибо, Миша, исправил. Вот она, сила анонимных комментаторов (жаль, что спамеров много...).
а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции?В неспециализированных фотосенсорах, как правило, чем короче экспозиция, тем меньше шума (и темнового, и светового).
Есть у нас техническая камера PixeLink, так вот при выдержках больше 200мс изображение засыпает шумом типа "соль и перец". Вот тебе и техничка за 4000$ :-(
не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?Про скоростные фотосенсоры я, честно говоря, не особенно в курсе, т.к. с ними дела не имел.
У нас задача регистрации световых полей от объектов при, мягко выражаясь, недостаточном освещении (маломощный лазер / ртутная лампа). Мы не крэщ-тесты проводим :-)
Спасибо за ответы.
ОтветитьУдалить>>а если экспозиция короткая, например, есть же
>>быстрые cmos сенсоры для регистрации времени
>>жизни флуоресценции?
>В неспециализированных фотосенсорах, как правило,
> чем короче экспозиция, тем меньше шума (и
>темнового, и светового).
а как при этом может меняться соотношение сигнал/шум?
измерение времени жизни флуоресценции - задача похожая на вашу в том смысле, что интенсивность регистрируемого излучения (флуоресценции) обычно низкая, но плюс к этому регистрировать сигнал надо несколько раз очень быстро и в заданное время, поскольку интенсивность снижается экспоненциально. Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd. Для нас немаловажно снижение энергопотребления, т.к. измерения, в конце концов, будет производить полностью автономный прибор. Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.
Миша.
> Темновой заряд (N) накапливается в одной
ОтветитьУдалить>ячейке фотодиода, а световой заряд (S)
>накапливается в другой ячейке того же
>фотодиода. После того, как уровень шума (N)
>считывается, передаётся количество заряда из
>ячейки фотодиода, которая накапливала световой
>заряд. Происходит объединение уровней заряда
>(S+N) и считывание как целого. Так как уровень
>шума (N) известен для того же фотодиода,
>происходит их вычитание и, таким образом,
>считывается только информация о сигнале. Это и
>составляет основу метода полной передачи заряда
довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше). хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой? опять получается, что сигнал и шум зарегистрированы в разных приборах?
как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.
Миша.
2 Миша
ОтветитьУдалитьа как при этом может меняться соотношение сигнал/шум?Интересный вопрос, на самом деле. Есть предположение, что должен увеличиваться, но экспериментальных данных у меня на этот счёт нет.
Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd.Думаю, что ощутимых преимуществ это не даст: CCD даёт всё-таки меньший уровень шумов, как ни крути. Тем более это важно в измерительной технике. Мы-то камерами пользуемся, потому что другого ничего нет (во всяком случае, до последнего времени не было).
Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.Самое замечательное в CMOS - это их возможность делать ROI (Region of interest), меньшее энергопотребление (для нас малоактуально), и широкие возможности по обработке изображений on-chip. Для примера можно посмотреть на Pixim: эти орлы делают фотосенсоры с динамическим диапазоном 120 dB, т.е. HDR в действии.
довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше).Почему? Пиксель поделён, грубо говоря, на две части: в одной копится световой заряд, в другой - темновой шум. Одно из другого вычитается, имеем изображение с малым уровнем шума. За подробностями можно обратиться к первоисточнику, из которого, собственно, эти данные и взяты.
Напоминаю, что все эти манипуляции проводятся в пределах ОДНОГО пикселя, о чём, на мой взгляд, достаточно прозрачно написано в тексте.
хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой?Я немного поправил текст, вроде стало понятне. Фотодиод поделён на две ячейки: в одной копится световой сигнал, во второй - темновой сигнал.
опять получается, что сигнал и шум зарегистрированы в разных приборах?В одной ячейке.
как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.Как я понял, что сначала фотодиоды сбрасывают, потом считывают остаточный заряд (запоминают), потом идёт экспозиция, во время которой копят сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом вычитают остаточный заряд и темновой шум.
На всякий случай, привожу оригинальную статью.
Спасибо за такие развёрнутые комментарии, Миша, они делают посты понятнее и лучше.
>>Фотодиод поделён на две ячейки: в одной копится
ОтветитьУдалить>> световой сигнал, во второй - темновой сигнал.
>>
>>опять получается, что сигнал и шум
>>зарегистрированы в разных приборах?
>В одной
>ячейке.
>
>>как мне показалось, речь идет о том, что шум
>>считывают (и его значение сохраняют) перед
>>накоплением сигнала, а не после него. ну а
>>потом вычитают.
>Как я понял, что сначала фотодиоды сбрасывают,
>потом считывают остаточный заряд (запоминают),
>потом идёт экспозиция, во время которой копят
>сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом
>вычитают остаточный заряд и темновой шум.
ячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный; сигналы независимо считывать, вычитать и получать снижение флуктуаций чистого сигнала? и получается, что одна из ячеек фотодиода вообще никогда не экспонируется? в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.
у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.
Миша.
2 Миша
ОтветитьУдалитьячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный;На уровне предположений: светочувствительная область занимает около 30%, и сделать такую же, но зачерённую, думаю, не rocket science. Детали, понятное дело, нам ребята из Canon не откроют - у них свои производственные мощности и своё R&D.
и получается, что одна из ячеек фотодиода вообще никогда не экспонируется?Скорее всего, да. Но это мои предположения. Они подкрепляются текстом лекции Orly Yadid-Petch (она предложила в своё время концепцию Active Pixel Sensor), и там в районе стр.14 рассказывается нечто подобное. На всякий случай ссылка.
в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.Ну, и ко мне в частности :-)
Вообще документация у ребят из Canon написана очень обтекаемо: например, они очень красиво обходят вопрос о том, что в Canon EOS 400D и 40D стоит один и тот же фотосенсор. Это они называют "основанный на сходных с 400D" технологиях :-)
у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.Так оно и есть: сенсоры они разрабатывают сами, так что выдавать всю подноготную не в их интересах.
Надеюсь, что хоть что-то вы из моего поста полезного извлекли. И спасибо за комментарии - они натолкнули на полезные размышления.
Да. Спасибо за пост и за ответы.
ОтветитьУдалитьМиша.
CMOS-сенсоры менее чувствительны?
ОтветитьУдалить