5/04/2009

Шумоподавление на чипе современных CMOS-фотосенсоров

По материалам кандидатской диссертации

У многих из нас есть цифровые фотокамеры - с их помощью можно сделать очень хороший снимок, даже если это камера мобильного телефона. Изображение современных камер отличается детализованностью и низким уровнем шумов. Как же им это удаётся?

Большинство современных цифровых фотокамер оснащены CMOS-сенсорами. Как известно, одним из главных недостатков CMOS-сенсоров является их высокий уровень шума. Тем не менее, современные CMOS-фотосенсоры, произведённые по 4/5Т-технологии, позволяют получать изображения с уровнем шумов, сравнимым с уровнем шумов CCD-фотосенсоров. Это достигается шумоподавлением на самом фотосенсоре и CMOS-пикселе. Данное обстоятельство следует учитывать при проведении измерений и регистрации сигналов на CMOS-фотоприёмники, а так же при оценке характеристик CMOS-сенсоров. 

Широкое применение CMOS-сенсоров связано с их весьма важным достоинством: при увеличении размеров фотосенсора энергетические затраты на передачу данных об изображении практически не увеличиваются. Если количество считывающих каналов в CMOS-сенсорах остаётся неизменным, то энергопотребление сенсора остаётся одинаковым и не возрастает при увеличении размера сенсора (см.Рис. 1). С другой стороны, CCD-сенсоры перемещают зарядовые пакеты, и это существенно более энергозатратно. Убыстрение процесса считывания в CCD-сенсорах так же приводит к дополнительному расходу энергии, что нежелательно в портативной технике. Даже по сравнению с малыми сенсорами, CCD-сенсоры потребляют вдвое больше энергии, чем CMOS, что видно на Рис.1. Сравнение полноформатных, 35-мм сенсоров показывает, что CCD-сенсоры потребляют почти втрое больше энергии, чем CMOS.

Рис.1: Сравнение энергопотребления современных CMOS и CCD-фотосенсоров.
Однако при проведении оценки характеристик CMOS-сенсоров следует учитывать то обстоятельство, что получаемые изображения для оценки темновых и световых шумов в значительной степени предобработаны электроникой камеры ещё до записи в RAW-файл или передачи в компьютер для последующей обработки. Ниже следует краткое описание методов шумоподавления на CMOS-фотосенсорах
Для того, чтобы устранить высокий уровень шумов CMOS-сенсоров, требуется создавать фотосенсоры с большим количеством транзисторов. Именно это позволяет производить шумоподавление внутри каждого пикселя, что приводит к существенному снижению уровня шума. Это потребовало создания сложных технологий 4/5Т производства CMOS-фотосенсоров.

Подавление темновых шумов

Называемый так же FPN, Fixed Pattern Noise, этот шум представляет собой разное смещение уровня сигнала для разных пикселей фотосенсора. В CMOS-сенсорах, помимо FPN, имеется так же неоднородность сигнала по столбцам. Основным методом устранения такого шума является метод CDS, Correlated Double Sampling. Процесс шумоподавления по методу CDS проиллюстрирован на Рис.2.


Рис.2: Метод CDS для подавления фиксированного шума на изображениях, зарегистрированных фотосенсорами CMOS.
В методе CDS производится одновременное считывание светового сигнала и темнового двумя независимыми считывателями. Темновой сигнал накапливается в пикселях фотосенсора, которые защищены от света. Сначала считывается только информация о темновом шуме, потом считывается световой сигнал вместе с темновым шумом. Далее из считанного сигнала вычитается темновой шум. После этого на изображении, зарегистрированным CMOS-фотоприёмником, фиксированный шум FPN компенсирован (см.Рис.3). Для этого использование технологии 4/5T является критичным.

Рис.3: Процесс шумоподавления по методу CDS.
Однако большее искажение в регистрируемое изображение вносит шум, связанный с неоднородностью фоточувствительности. Это вытекает из того факта, что технологически невозможно изготовить миллионы одинаковых CMOS-пикселей с усилителями внутри.

Подавление шума, зависящего от светового сигнала

Так как каждый пиксель CMOS-сенсора содержит несколько транзисторов, управляющих передачей данных, технологически невозможно сделать их идентичными. Это приводит к неоднородности величины сигнала даже при регистрации плоского светового поля, что проиллюстрировано на Рис. 4

Рис.4: Сигнал, подверженный шуму, вызванному неоднородностью фоточувствительности.
Изображения, полученные с ранних образцов CMOS-сенсоров, были подвержены шуму неоднородности фоточувствительности из-за того, что сброс темнового заряда на фотодиодах был неполным (см.Рис. 5)
Сначала производится сброс значения фотодиода, затем производится регистрация полезного сигнала (S). Следует заметить, что в процессе регистрации светового сигнала так же регистрируется и шум (S+N1). Далее считывался сигнал вместе с шумом (S+N1), фотодиод сбрасывался и считывалось значение шума (N2). Это приводило к тому, что на изображении оставался шум.

Рис.5: Неполный сброс значений фотодиодов приводит к считыванию сигнала с остаточным шумом.
Развитие технологии производства фотодиодов по 4/5Т-технологии сенсоров CMOS позволило более эффективно подавлять шумы, связанные с неоднородностью фоточувствительности. Так, был разработан метод полной передачи заряда. Каждый фотодиод содержит ячейку для запоминания темнового шума и ячейку для накопления светового сигнала (см.Рис. 6).

Рис.6: Метод полной передачи заряда для устранения шума, связанного с неоднородностью фоточувствительности.
Сначала считывается остаточный заряд, включающий в себя темновой и световой сигнал. Этот сигнал остаётся в ячейке фотодиоде, хранящей информацию об уровне шума, после чего производится сброс всех фотодиодов матрицы фотосенсора.
После завершения экспозиции, значение сигнала и значение шума считываются независимо - происходит замер текущего уровня шума.
Темновой заряд (N) и световой заряд (S) накапливается в разных ячейках одного и того же фотодиода. После того, как уровень шума (N) считывается, передаётся количество заряда из ячейки фотодиода, которая накапливала световой заряд. Происходит объединение уровней заряда (S+N) и считывание как целого. Так как уровень шума (N) известен для того же фотодиода, происходит их вычитание и, таким образом, считывается только информация о сигнале. Это и составляет основу метода полной передачи заряда
Кроме того, шум, вызванный неоднородностью фоточувствительности, возрастает с увеличением усиления ISO. Поэтому в ряде коммерческих цифровых фотокамер применяются технологии, которые усиливают сигнал в зависимости от уровня ``сигнал/шум'' на изображении. Сигналы с высоким соотношением ``сигнал/шум'' посылаются на усилители с большим коэффициентом усиления. Это позволяет CMOS-фотосенсорам выдавать изображения высокого качества в условиях съёмки, требующих высокого значения ISO и длинных экспозиций.

Ссылки
Пост подготовлен по материалам технической документации компании Canon на цифровые камеры Canon серии EOS и полноформатные фотосенсоры.

11 комментариев:

  1. Хм. А можно пдфку самой диссертации посмотреть? (типа как образчик красивого оформления в техе)
    Вы уже защитились?

    ОтветитьУдалить
  2. 2 geekobyte комментирует...
    Хм. А можно пдфку самой диссертации посмотреть?Пока не готово. Это самые интересные куски из неё, остальное скучно и занудно :-)

    (типа как образчик красивого оформления в техе)К сожалению, отечественный имперский стиль убивает оформление диссертации. Крупный шрифт и аршинные поля вместе с расстоянием между строк делают диссертацию слишком "пухлой" (по объёму) и неудобочитаемой.

    Вы уже защитились?Ещё нет, но усиленно гребу в этом направлении :-)
    Надеюсь, что осенью защищусь.

    ОтветитьУдалить
  3. дорогой аффтар!!!111
    что есть ссылки [19-21]?

    >"шум, вызванный неоднородностью
    >фоточувствительности, возрастает с увеличением
    >усиления ISO. Поэтому в ряде коммерческих
    >цифровых фотокамер [19] применяются технологии,
    > которые усиливают сигнал в зависимости от
    >уровня ``сигнал/шум'' на изображении. Сигналы с
    > высоким соотношением ``сигнал/шум'' посылаются
    > на усилители с большим коэффициентом усиления.
    > Это позволяет CMOS-фотосенсорам выдавать
    >изображения высокого качества в условиях
    >съёмки, требующих высокого значения ISO и
    >длинных экспозиций."

    - а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции? не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?

    Миша.

    ОтветитьУдалить
  4. 2 Анонимный комментирует...
    дорогой аффтар!!!111Да-да? :-)

    что есть ссылки [19-21]?Недогляд от недосыпа. Спасибо, Миша, исправил. Вот она, сила анонимных комментаторов (жаль, что спамеров много...).

    а если экспозиция короткая, например, есть же быстрые cmos сенсоры для регистрации времени жизни флуоресценции?В неспециализированных фотосенсорах, как правило, чем короче экспозиция, тем меньше шума (и темнового, и светового).

    Есть у нас техническая камера PixeLink, так вот при выдержках больше 200мс изображение засыпает шумом типа "соль и перец". Вот тебе и техничка за 4000$ :-(

    не могли бы ли вы прокомментировать как-либо свойства быстрых cmos-сенсоров или порекомендовать какие-нибудь материалы для прочтения?Про скоростные фотосенсоры я, честно говоря, не особенно в курсе, т.к. с ними дела не имел.
    У нас задача регистрации световых полей от объектов при, мягко выражаясь, недостаточном освещении (маломощный лазер / ртутная лампа). Мы не крэщ-тесты проводим :-)

    ОтветитьУдалить
  5. Спасибо за ответы.

    >>а если экспозиция короткая, например, есть же
    >>быстрые cmos сенсоры для регистрации времени
    >>жизни флуоресценции?
    >В неспециализированных фотосенсорах, как правило,
    > чем короче экспозиция, тем меньше шума (и
    >темнового, и светового).

    а как при этом может меняться соотношение сигнал/шум?

    измерение времени жизни флуоресценции - задача похожая на вашу в том смысле, что интенсивность регистрируемого излучения (флуоресценции) обычно низкая, но плюс к этому регистрировать сигнал надо несколько раз очень быстро и в заданное время, поскольку интенсивность снижается экспоненциально. Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd. Для нас немаловажно снижение энергопотребления, т.к. измерения, в конце концов, будет производить полностью автономный прибор. Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.

    Миша.

    ОтветитьУдалить
  6. > Темновой заряд (N) накапливается в одной
    >ячейке фотодиода, а световой заряд (S)
    >накапливается в другой ячейке того же
    >фотодиода. После того, как уровень шума (N)
    >считывается, передаётся количество заряда из
    >ячейки фотодиода, которая накапливала световой
    >заряд. Происходит объединение уровней заряда
    >(S+N) и считывание как целого. Так как уровень
    >шума (N) известен для того же фотодиода,
    >происходит их вычитание и, таким образом,
    >считывается только информация о сигнале. Это и
    >составляет основу метода полной передачи заряда

    довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше). хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой? опять получается, что сигнал и шум зарегистрированы в разных приборах?

    как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.

    Миша.

    ОтветитьУдалить
  7. 2 Миша
    а как при этом может меняться соотношение сигнал/шум?Интересный вопрос, на самом деле. Есть предположение, что должен увеличиваться, но экспериментальных данных у меня на этот счёт нет.

    Поэтому и появилась идея использовать cmos сенсор (камеру) вместо принудительно охлаждаемой ccd.Думаю, что ощутимых преимуществ это не даст: CCD даёт всё-таки меньший уровень шумов, как ни крути. Тем более это важно в измерительной технике. Мы-то камерами пользуемся, потому что другого ничего нет (во всяком случае, до последнего времени не было).

    Поэтому я пытаюсь понять, что в новых технологиях cmos есть хорошего, а что - плохого.Самое замечательное в CMOS - это их возможность делать ROI (Region of interest), меньшее энергопотребление (для нас малоактуально), и широкие возможности по обработке изображений on-chip. Для примера можно посмотреть на Pixim: эти орлы делают фотосенсоры с динамическим диапазоном 120 dB, т.е. HDR в действии.


    довольно странное объяснение (хотя в английском тексте качество изложения ничуть не лучше).Почему? Пиксель поделён, грубо говоря, на две части: в одной копится световой заряд, в другой - темновой шум. Одно из другого вычитается, имеем изображение с малым уровнем шума. За подробностями можно обратиться к первоисточнику, из которого, собственно, эти данные и взяты.

    Напоминаю, что все эти манипуляции проводятся в пределах ОДНОГО пикселя, о чём, на мой взгляд, достаточно прозрачно написано в тексте.

    хотя бы потому, что ну как можно в одной ячейке накапливать сигнал, а шум считать в другой?Я немного поправил текст, вроде стало понятне. Фотодиод поделён на две ячейки: в одной копится световой сигнал, во второй - темновой сигнал.

    опять получается, что сигнал и шум зарегистрированы в разных приборах?В одной ячейке.

    как мне показалось, речь идет о том, что шум считывают (и его значение сохраняют) перед накоплением сигнала, а не после него. ну а потом вычитают.Как я понял, что сначала фотодиоды сбрасывают, потом считывают остаточный заряд (запоминают), потом идёт экспозиция, во время которой копят сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом вычитают остаточный заряд и темновой шум.

    На всякий случай, привожу оригинальную статью.

    Спасибо за такие развёрнутые комментарии, Миша, они делают посты понятнее и лучше.

    ОтветитьУдалить
  8. >>Фотодиод поделён на две ячейки: в одной копится
    >> световой сигнал, во второй - темновой сигнал.
    >>
    >>опять получается, что сигнал и шум
    >>зарегистрированы в разных приборах?
    >В одной
    >ячейке.
    >
    >>как мне показалось, речь идет о том, что шум
    >>считывают (и его значение сохраняют) перед
    >>накоплением сигнала, а не после него. ну а
    >>потом вычитают.
    >Как я понял, что сначала фотодиоды сбрасывают,
    >потом считывают остаточный заряд (запоминают),
    >потом идёт экспозиция, во время которой копят
    >сигнал и шум в ОДНОЙ И ТОЙ ЖЕ ЯЧЕЙКЕ. Потом
    >вычитают остаточный заряд и темновой шум.

    ячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный; сигналы независимо считывать, вычитать и получать снижение флуктуаций чистого сигнала? и получается, что одна из ячеек фотодиода вообще никогда не экспонируется? в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.

    у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.

    Миша.

    ОтветитьУдалить
  9. 2 Миша
    ячейки одного фотодиода, выходит, настолько одинаковые, что в одной можно копить темновой сигнал, а в другой - суммарный;На уровне предположений: светочувствительная область занимает около 30%, и сделать такую же, но зачерённую, думаю, не rocket science. Детали, понятное дело, нам ребята из Canon не откроют - у них свои производственные мощности и своё R&D.

    и получается, что одна из ячеек фотодиода вообще никогда не экспонируется?Скорее всего, да. Но это мои предположения. Они подкрепляются текстом лекции Orly Yadid-Petch (она предложила в своё время концепцию Active Pixel Sensor), и там в районе стр.14 рассказывается нечто подобное. На всякий случай ссылка.

    в общем, у меня этот момент вызывает уйму вопросов. Вопросы не к вам, скорее, а к авторам canon cmos whitepaper.Ну, и ко мне в частности :-)
    Вообще документация у ребят из Canon написана очень обтекаемо: например, они очень красиво обходят вопрос о том, что в Canon EOS 400D и 40D стоит один и тот же фотосенсор. Это они называют "основанный на сходных с 400D" технологиях :-)

    у меня, честно говоря, возникает ощущение, будто авторы canon cmos whitepaper в первую очередь стремились не разгласить чего-нибудь секретного, и поэтому в некоторых интересных местах излагают нечетко.Так оно и есть: сенсоры они разрабатывают сами, так что выдавать всю подноготную не в их интересах.

    Надеюсь, что хоть что-то вы из моего поста полезного извлекли. И спасибо за комментарии - они натолкнули на полезные размышления.

    ОтветитьУдалить
  10. Да. Спасибо за пост и за ответы.

    Миша.

    ОтветитьУдалить
  11. CMOS-сенсоры менее чувствительны?

    ОтветитьУдалить