Что такое роллинг шаттер в видеосъемке
Rolling Shutter (роллинг шаттер) в видеосъемке
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!
Математические расчёты, стоящие за феноменом роллинг-шаттера
Помню, как однажды увидел фотографию выше на Flickr и сломал мозг, пытаясь понять, что с ней не так. Дело было в том, что пропеллер вращался в то время, когда датчик движения в камере «считывал показания», то есть во время экспозиции камеры происходило какое-то движение. Об этом действительно стоит подумать, давайте-ка подумаем вместе.
Многие современные цифровые камеры используют КМОП-матрицу в качестве своего «чувствительного» устройства, также известную как активный датчик пикселей, который работает путем накопления электронного заряда при падении на него света. По истечении определенного времени – времени экспозиции – заряд построчно перемещается обратно в камеру для дальнейшей обработки. После этого камера сканирует изображение, построчно сохраняя ряды пикселей. Изображение будет искажено, если во время съемки присутствовало хоть какое-то движение. Для иллюстрации представьте съемку вращающегося пропеллера. В анимациях ниже красная линия соответствует текущему положению считывания, и пропеллер продолжает вращаться по мере считывания. Часть под красной линией – это полученное изображение.
Первый пропеллер совершает 1/10 оборота во время экспозиции:
Подписывайтесь на каналы:
@Ontol — самые интересные тексты/видео всех времен и народов, влияющие на картину мира
@META LEARNING — где я делюсь своими самыми полезными находками про образование и роль ИТ/игр в образовании (а так же мыслями на эту тему Антона Макаренко, Сеймура Пейперта, Пола Грэма, Джозефа Ликлайдера, Алана Кея)
Изображение немного исказилось, но ничего критичного. Теперь пропеллер будет двигаться в 10 раз быстрее, совершая полное вращение за время экспозиции:
Это уже похоже на ту картинку, что мы видели в начале. Пять раз за экспозицию:
Это уже немного чересчур, так можно и с катушек съехать. Давайте повеселимся и проверим как будут выглядеть различные объекты при различных скоростях вращения за экспозицию.
Точно такой же пропеллер:
Пропеллер с большими лопастями:
Мы можем воспринимать эффект роллинг-шаттера как некое преобразование координат реального объекта из «объектного пространства» в «пространство изображения» искаженного объекта. Анимация ниже показывает, что происходит с Декартовой системой координат при увеличении числа оборотов. При малых оборотах деформация незначительна – число увеличивается до единицы, и каждая сторона системы координат последовательно перемещается в правую сторону изображения. Это довольно сложная трансформация для восприятия, но легкая в понимании.
Пусть изображение будет I(r,θ), реальный (вращающийся) объект будет f(r,θ), где (r,θ) — это 2D полярные координаты. Мы выбрали полярные координаты для этой задачи из-за вращательного движения объектов.
Объект вращается с угловой частотой ω, а шаттер перемещается по изображению со скоростью v по вертикали. В положении (r,θ) на картинке, дистанция, которую прошел шаттер с начала экспозиции, равна y=rsinθ, где прошедшее с этого момента время равно (rsinθ)/v. За это время объект повернулся на (ω/v)rsinθ) радианов. Итак, мы получаем
что и является требуемой трансформацией. Коэффициент ω/v пропорционален числу вращений за экспозицию и параметризует трансформацию.
Чтобы получить более глубокое представление об очевидных формах пропеллеров, мы можем рассмотреть объект, состоящий из P пропеллеров, где f является ненулевым только для
Что такое роллинг-шаттер
Леша Ивановский
Эффекта роллинг-шаттер можно получить, если двигать предмет во время сканирования, только вместо диафрагмы у вас лампа сканера. Из сканера некоторые умельцы делают фотоаппараты.
Чтобы разобраться, как получается роллинг-шаттер, стоит описать устройство цифровой камеры. Самым распространенным типом матрицы в фото и видеокамерах сейчас является CMOS-матрица. Она состоит из миллионов маленьких светочувствительных элементов — фотодиодов. Они могут превращать свет в ток, который потом преобразуется в цифровую информацию — в пиксели на картинке. Перед каждым светочувствительным элементом стоит красный, синий или зеленый фильтр. Фотодиод собирает информацию только о яркости, а не о цвете. То есть, он буквально говорит: я пиксель с зеленым фильтром (проходят только длины волн, соответствующие зеленому цвету), яркость на мне такая-то. После этого процессор в камере анализирует все сигналы с фотодиодов трех цветов и собирает окончательную картинку, которая и записывается на карту памяти.
При этом сигнал считывается с матрицы строка за строкой, поэтому между считыванием первого и последнего элемента проходит некоторое время. За это время объект перед камерой уже может сместиться. Поэтому, когда мы снимаем, например, быстро движущуюся машину, то первой считается информация о ее крыше, и пока считывание дойдет до ее колес, они уже успеют немного проехать. Для медленно движущихся объектов этот эффект почти незаметен, но если предмет движется достаточно быстро, то искажения могут быть самыми впечатляющими. Это и есть эффект роллинг-шаттер.
Some rights reserved by Jason Show
Сочетание роллинг-шаттер эффекта и короткой выдержки особенно сильно искажает колебания:
Для устранения этого эффекта надо либо увеличивать скорость, с которой считывается информация, что технически сложно, либо убирать роллинг-шаттер при пост-обработке.
Самое удивительное, что от подобного же искажения страдали и ранние пленочные камеры. Что прекрасно заметно на этом известном кадре Жака-Анри Лартига.
В камере Жака-Анри установлен фокальный затвор: это значит, что при короткой выдержке пленку засвечивает движущаяся щель между шторок, которые закрывают пленку от света. И хотя света попадает на пленку мало (соответствует быстрой выдержке), само прохождение этой щели над пленкой может занимать некоторое время. Пока щель дошла от низа колеса до его верха, колесо уже проехало вправо — отсюда такой наклон. При этом, видимо, фотограф вел камерой за машиной, поэтому люди наклонены влево.
Эффект Rolling Shutter при съёмке видео
В цифровых камерах такой же эффект даёт и сам принцип построчного считывания изображения с CMOS-матрицы (CCD-матрица, используемая в телефонах и мыльницах, теоретически может формировать изображение одновременно для всех пикселей, чем может избежать искажения, но зато не может дать приемлемого качества изображения. Да и на практике все аппараты, которые я видел, в том числе и с CCD, тоже имели построчную организацию работы).
Это касается и зеркальных камер. То, что в них есть механический затвор, дела не меняет. Всё равно матрица функционирует построчно.
Вот первая иллюстрация:
Мы видим, что от момента считывания первой строки до считывания последней проходит определённое время, и за это время объект съёмки может переместиться. Например, человек быстро бежит, а фотоаппарат стоит неподвижно. Тогда, грубо говоря, сначала фотографируется шапка, потом голова, потом тело. а ноги уже давно убежали, пока до них дойдёт очередь. И человек на снимке выйдет наклонённым.
Собственно говоря, способов борьбы с такими искажениями в бытовых фотоаппаратах нет.
Можно только более-менее успешно обработать уже снятое с искажениями видео.
Для этого я использую замечательный бесплатный плагин стабилизации Deshaker для бесплатной же программы обработки видео VirtualDub.
Даже коммерческий софт (тот же MAGIX Video Deluxe, которым я пользуюсь для видеомонтажа), стабилизирует видео гораздо хуже (а YouTube вроде чуть получше, но он годится только для тех, кто прямо с телефона видео в сеть выкладывает).
Мораль сей басни такова: не двигайте фотоаппарат вправо-влево при съёмке видео. Если же панорамирование необходимо, то делайте это помедленнее.
Что такое роллинг-шаттер
Леша Ивановский
Эффекта роллинг-шаттер можно получить, если двигать предмет во время сканирования, только вместо диафрагмы у вас лампа сканера. Из сканера некоторые умельцы делают фотоаппараты.
Чтобы разобраться, как получается роллинг-шаттер, стоит описать устройство цифровой камеры. Самым распространенным типом матрицы в фото и видеокамерах сейчас является CMOS-матрица. Она состоит из миллионов маленьких светочувствительных элементов — фотодиодов. Они могут превращать свет в ток, который потом преобразуется в цифровую информацию — в пиксели на картинке. Перед каждым светочувствительным элементом стоит красный, синий или зеленый фильтр. Фотодиод собирает информацию только о яркости, а не о цвете. То есть, он буквально говорит: я пиксель с зеленым фильтром (проходят только длины волн, соответствующие зеленому цвету), яркость на мне такая-то. После этого процессор в камере анализирует все сигналы с фотодиодов трех цветов и собирает окончательную картинку, которая и записывается на карту памяти.
При этом сигнал считывается с матрицы строка за строкой, поэтому между считыванием первого и последнего элемента проходит некоторое время. За это время объект перед камерой уже может сместиться. Поэтому, когда мы снимаем, например, быстро движущуюся машину, то первой считается информация о ее крыше, и пока считывание дойдет до ее колес, они уже успеют немного проехать. Для медленно движущихся объектов этот эффект почти незаметен, но если предмет движется достаточно быстро, то искажения могут быть самыми впечатляющими. Это и есть эффект роллинг-шаттер.
Some rights reserved by Jason Show
Сочетание роллинг-шаттер эффекта и короткой выдержки особенно сильно искажает колебания:
Для устранения этого эффекта надо либо увеличивать скорость, с которой считывается информация, что технически сложно, либо убирать роллинг-шаттер при пост-обработке.
Самое удивительное, что от подобного же искажения страдали и ранние пленочные камеры. Что прекрасно заметно на этом известном кадре Жака-Анри Лартига.
В камере Жака-Анри установлен фокальный затвор: это значит, что при короткой выдержке пленку засвечивает движущаяся щель между шторок, которые закрывают пленку от света. И хотя света попадает на пленку мало (соответствует быстрой выдержке), само прохождение этой щели над пленкой может занимать некоторое время. Пока щель дошла от низа колеса до его верха, колесо уже проехало вправо — отсюда такой наклон. При этом, видимо, фотограф вел камерой за машиной, поэтому люди наклонены влево.