Главное меню

От чего зависит качество камеры смартфона? Оборудование - это только начало



Не нужно никого убеждать, что на смартфон можно делать снимки хорошего качества. Во многом, это связано с разработкой светочувствительных матриц. Однако, не менее важным является постоянное развитие программного обеспечения, особенно развитие вычислительной фотографии, благодаря которой мы получили, среди прочего, эффективные ночные режимы и лучший HDR. Что такое вычислительная фотография и почему она произвела революцию в мире мобильной фотографии?
 

Камеры смартфонов имеют некоторые физические ограничения, которые не могут быть преодолены (по крайней мере, на данный момент) с помощью технического развития матриц и оптики.

 

Способ преодоления этих ограничений - сбор дополнительных данных, анализ изображения и передача полученной информации в алгоритмы компьютерной фотографии.

 

Благодаря вычислительной фотографии камеры смартфонов лучше справляются с высококонтрастными сценами, небольшим количеством света и множеством мелких деталей.



Содержание
 
  1. Почему вычислительная фотография произвела революцию в фотографии на смартфонах?
  2. HDR - вычислительная фотография решает проблемы с тональным диапазоном
  3. Ночной режим - "склеивание” серии фотографий, опять же, на помощь
  4. Портретные режимы - вторая камера (или второй фотодиод), как способ преодолеть ограничения оптики
  5. Супер-разрешение - лучшая детализация изображения и цифровой зум без увеличения разрешения матрицы
  6. Что это значит на практике?
 

1. Почему вычислительная фотография произвела революцию в фотографии на смартфонах?

Да, камеры для смартфонов за последние годы достигли огромного технического прогресса. Однако, как даже самый опытный, умелый и лучший в позиционировании на поле, но невысокий вратарь - никогда не сможет защитить от определенных ударов, потому что ему не хватит сантиметров - так и матрицы смартфонов, из-за своего небольшого размера, всегда будут генерировать относительно большое количество шума, имеют ограниченный тональный диапазон и не позволят классическим способом получить размытый фон. Но если такому вратарю дать руки, в стиле персонажа Инспектора Гаджета или реактивные ботинки, его физические ограничения можно будет обойти. То же самое и с вычислительной фотографией. 

Вычислительная фотография - это набор решений в стиле "вытянутых рук" Гаджета, благодаря которым камеры могут достигать эффектов, которые естественным, чисто оптическим и механическим способом просто невозможно достичь - потому, что физику невозможно обмануть, или из-за того, что классическая аналого-цифровая фотография не «искажает» реальность, добавляя что-то от себя, а лишь пытается записать это максимально достоверно. Эти решения могут быть чисто программными, но они также могут быть комбинацией специально подготовленного оборудования и алгоритмов, использующих его.

Идея использования алгоритмов для улучшения фотографий и получения совершенно новых эффектов была в течение многих лет, и начало многих современных решений можно найти в астрофотографии, но фотография смартфона, является наиболее плодородной почвой для развития вычислительной фотографии. На это есть несколько факторов. Благодаря тому, что матрицы смартфонов небольшие, данные можно считывать быстро и они относительно энергоэффективные. Кроме того, смартфоны имеют все более мощные процессоры для обработки изображений и уже некоторое время оснащаются ускорителями искусственного интеллекта. Ну и наши телефоны обычно имеют много дополнительных датчиков. Другими словами, смартфоны очень эффективно собирают и анализируют данные. И в то же время, им очень нужны способы обойти свои физические ограничения, чтобы качество фотографий, сделанных с их помощью, могло еще больше повыситься. 


Вычислительная фотография произвела революцию в фотографии на смартфон
Первая удачная фотография черной дыры также является результатом вычислительной фотографии и построения окончательного изображения по данным с 8 радиотелескопов. Сделать этот снимок с помощью обычного телескопа невозможно, потому что он должен быть слишком большим.
 

2. HDR - вычислительная фотография решает проблемы с тональным диапазоном

Всем нам знакомо - фотографии, на которых или на небе белое пятно (в лучшем случае небо покрыто белыми пятнами в форме облаков), либо все люди на них слишком темные (и если вы попытаетесь их осветлить - брр, этот шум ...). Это связано с тем, что матрицы цифровых камер (особенно для смартфонов) имеют ограниченный динамический диапазон - то есть минимальную и максимальную яркость сцены, с которой они могут справиться за одну экспозицию, поэтому им приходится выбирать: сохранить детали в более светлой или более темной части кадра.

В течение многих лет решением этой проблемы, которое было известно фотографам, является брекетинг и HDR, то есть съемка серии фотографий с разными уровнями экспозиции (обычно с разным временем выдержки), в которых по крайней мере, одна фотография имеет правильно экспонированную темную часть кадра, а вторая - правильно экспонированную яркую часть сцены. После этого алгоритм объединяет их в окончательную, менее контрастную фотографию, которая не пугает вас шумом. Изначально HDR был уделом опытных фотографов, которые вручную объединяли свои фотографии в графической программе. Однако, в какой-то момент, этому трюку научились смартфоны и в их программном обеспечении начал появляться (более-менее удачный) режим HDR, который после нажатия кнопки спуска затвора делал серию снимков и автоматически объединял их в одну финальную фотографию. Быстро, легко и приятно ... лишь бы в камере были идеальные условия для работы, т.е. руки фотографа как можно меньше тряслись, в кадре ничего не двигалось и было много света, благодаря чему фотография, сделанная с большой выдержкой, не была слишком длинной экспозиции, благодаря которой изображение становилось размытым. Что ж, этот метод для HDR сделал невозможным предварительный просмотр эффекта HDR вживую, и никому это не нравится, когда нужно подождать несколько десятков секунд, прежде чем появится фотография и разблокируется камера. Требовалось лучшее решение.

Со временем алгоритмы обнаружения движения стали становиться все лучше и лучше - как в результате вибрации рук пользователя (пригодился сбор данных с гироскопа, встроенного в телефон), так и в кадре (благодаря анализу изображений камеры научились обнаруживать, например, проезжающую машину и знали, что на последнем должна быть только одна копия). Это значительно улучшило удобство использования автоматических режимов HDR, но не решило проблемы с задержкой и слишком длинной выдержкой. Однако кому-то пришла в голову идея перевернуть старые методы HDR с ног на голову и начать делать нужную серию фотографий до нажатия кнопки спуска затвора. И что отдельные фотографии, не обязательно должны иметь разную выдержку.

Одну из лучших реализаций современного режима HDR, работающего на новых принципах, можно найти в смартфонах Google и Apple. Камеры этих смартфонов делают непрерывные фотографии при использовании приложения камеры и хранят определенное количество из них в постоянно меняющемся буфере. Когда пользователь жмет на кнопку спуска, он сигнализирует процессору изображений извлечь сохраненные изображения из буфера и начать их объединение. Это решает проблему высокой задержки HDR и позволяет создавать HDR Live Preview. Все эти буферизованные фотографии сделаны недоэкспонированными, поэтому информация не теряется в очень ярких частях кадра. Можно использовать более короткие выдержки, что позволяет избежать размытия, вызванного дрожанием руки пользователя или невозможностью камеры «заморозить» движение объекта, что значительно повышает удобство использования режимов HDR при слабом освещении. Затем более темные части фотографии становятся более светлыми и очищенными от шума из-за того, что фотографический шум ведет себя случайным образом, поэтому, когда вы делаете серию фотографий, анализируя отдельные изображения, вы можете определить, какие пиксели достаточно окрашены, а какие являются просто шумом, и комбинируя информацию вы можете восстановить детализированное окончательное изображение без шума.

 

3. Ночной режим - "склеивание” серии фотографий, опять же, на помощь

В предыдущем абзаце была тема склейки серии фотографий вместе, чтобы уменьшить шум и улучшить детализацию окончательного изображения, что позволяет нам плавно перейти ко второму очень популярному способу использования вычислительной фотографии на практике, то есть к всевозможным ночным режимам, связанным, в первую очередь, со смартфонами Huawei и (в меньшей степени в нашей стране) Google.

Камеры с небольшими матрицами имеют естественную проблему при фотографировании плохо освещенных сцен, потому что, чем меньше света достигает одного пикселя, тем больше шума видно на конечном изображении. И как мы уже знаем из предыдущего подзаголовка, эту проблему можно решить, объединив серию фотографий вместе. И действительно, прежде чем пользователь нажмет кнопку фото, смартфон с включенным ночным режимом постоянно анализирует ситуацию: сколько там света, будет фотография сделана «вручную» или со штатива, что-то движется в кадре или нет, статическая ли сцена. Основываясь на этой информации, камера решает: сколько фотографий она может сделать, как долго она может установить время экспозиции и может ли она использовать фотографии, уже находящиеся в буфере, или начать их съемку только после того, как пользователь нажмет кнопку.

Затем отдельные фотографии в серии анализируются, в результате чего некоторые из них отклоняются (потому что, например, они размыты), а одна считается эталонной, после чего начинается окончательная сборка изображений, которая является бесшумной, более подробная и имеет улучшенную динамику тонов. Таким образом, расчеты позволяют получать результаты с помощью небольших сенсоров смартфонов, которые еще не так давно использовались только для классических камер высокого класса.

 

4. Портретные режимы - вторая камера (или второй фотодиод), как способ преодолеть ограничения оптики

Еще одна вещь, которую когда-то использовали для классических камер высокого класса, - это эффект приятно размытого фона, особенно связанный с портретами. Чтобы классическим способом добиться малой глубины резкости, вам понадобится комбинация большого датчика изображения и яркого объектива *.  Хотя линзы смартфонов за последние несколько лет стали довольно мощными, их матрицы все еще (и будут) слишком малы для получения (кроме макроснимков) удовлетворительно малой глубины резкости (т. е. размытого фона) традиционным оптическим способом. Поэтому фон стали размывать цифровым способом, и самые современные методы для этого могут приятно удивить своим качеством. Чтобы алгоритм размытия фона работал наилучшим образом, ему нужна информация о глубине сцены. Компания HTC подготовила почву для этого метода, установив вторую камеру с объективом, с другим фокусным расстоянием над основной камерой, для того, чтобы смартфон видел мир немного по-другому и с другой точки зрения. Сравнивая фотографии, сделанные обеими камерами, можно точно определить, как отдельные кадры расположены по отношению друг к другу, и изолировать фон для размытия. Сегодня для исследования глубины сцены чаще используются специализированные камеры TOF, которые видят мир в трехмерном виде.


Смартфоны из семейства HTC One
Смартфоны из семейства HTC One не достигли особого успеха и у многих ассоциируются со средним качеством камер, хотя впервые в них реализовано множество решений, без которых мы не представляем современные телефоны.


Однако, для достижения этого эффекта не требуется размещать две камеры рядом.. Google нашел способ эффективно извлекать фон с помощью одной камеры ... при условии, что ее матрица имеет Dual Pixel AF. В датчиках этого типа каждый пиксель матрицы имеет два фотодиода (каждый со своей микролинзой, но оба находятся под одним и тем же цветным фильтром), «смотрящие» в противоположном направлении, один из них собирает свет, проникающий через одну половину объектива, а второй через вторую.  Таким образом, мы получаем два изображения, которые сравниваются друг с другом, благодаря чему камера знает, резкий ли данный элемент кадра или нет. Но, что важно в контексте вычислительной фотографии, он также знает, насколько не в фокусе данная часть кадра, то есть насколько далеко она от плоскости фокуса и в каком направлении они смещены относительно друг друга.


Матрицы с Dual Pixel AF
В матрицах с Dual Pixel AF большинство пикселей имеют два фотодиода. Сравнивая собранную ими информацию, вы можете сфокусироваться, а также узнать кое-что о глубине сфотографированной сцены.


Кто-то заметил, что эта информация может быть полезна не только для улучшения работы автофокуса, но и для определения того, что является основным объектом фотографии, а что только фоном. И пример смартфонов Google показывает, что портретный режим на их основе может быть очень эффективным. Так почему же он не набирает все большей популярности? Сложно сказать однозначно, но с учетом того, что в смартфоны уже давно устанавливаются практически совершенно бесполезные «макро» камеры, возможно, это как-то связано с гонкой за количеством камер, установленных в смартфоне. Ведь очевидно, что у смартфона с 5 камерами фото секция лучше, чем у смартфона с «всего» 4 камерами ...

 

5. Супер-разрешение - лучшая детализация изображения и цифровой зум без увеличения разрешения матрицы


В последнее время в мире смартфонов в моду вернулись гонки с мегапикселями. И хотя крошечные матрицы, с более чем 100 миллионами пикселей имеют свои проблемы, и фотографии, которые они создают, часто автоматически уменьшаются в размере, выборка изображения с такой высокой частотой улучшает детализацию фотографий и качество цифрового увеличения (хотя и не в такой степени, как указано в увеличение количества мегапикселей). Но добавление большего количества пикселей в датчик - не единственный способ повысить детализацию изображения и сделать цифровой зум полезным. Другой - режим «Высокое разрешение».


Olympus OM-D E-M5 II - первая бытовая цифровая камера
Olympus OM-D E-M5 II - первая цифровая камера с режимом высокого разрешения. Делает серию из 8 фотографий с разрешением 16 МП и объединяет их в финальное изображение с разрешением 40 МП.


Первоначально, режим высокого разрешения был представлен в зеркальных фотокамерах и беззеркальных камерах со стабилизацией матрицы, и для работы требовалось установить его на штатив. После его включения камера начинает делать серию снимков, и между последовательными кадрами, модуль стабилизации матрицы перемещает ее на заданное расстояние (на один или полпикселя). По завершении работы пользователь получает агрегированное финальное изображение со значительно увеличенным разрешением и детализацией. Отличная идея, но в случае смартфонов, которые никто не ставит на штатив, практически бесполезна. Что было необходимо, так это режим такого типа, который также работал бы, когда фотографии делаются «вручную». В мире более профессиональной фотографии, первым реализовал это в своих камерах Olympus, а в мире фотографии смартфонов лучшее решение такого типа разработали инженеры Google, и мы сосредоточимся на их решении.

Google удалось сделать фотографии Pixels с камерой 12Мп более резкими и детализированными, чем с других камер аналогичного класса. Режим Super-Res для смартфонов Google на практике использует тот факт, что при удерживании камеры перед собой, руки каждого человека слегка дрожат **, поэтому при съемке серии фотографий можно ожидать, что в каждой из них будут кадры, сдвинутые как минимум на один пиксель, в каждом из четырех основных направлений. Зачем нам нужен сдвиг пикселей в каждом направлении? В подавляющем большинстве современных фотоаппаратов используется система фильтров Байера, благодаря которой можно получать цветные фотографии. Это очень эффективное решение, благодаря которому оно просуществовало несколько десятков лет. Но оно также имеет явные недостатки: тратит много света, а 2/3 окончательного изображения на самом деле считывает кофейную гущу, потому что во время демозаизации окончательный цвет каждого пикселя меняется. А это ограничивает максимальную детализацию изображения.


Режим Super-Res для смартфонов Google
В большинстве фотографических матриц один пиксель собирает информацию только об одном компоненте белого света, поэтому его окончательный цвет, видимый на фотографии, составляет 2/3 эффекта «догадки». Однако, если сенсор начинает перемещать один пиксель в разные стороны, вы можете собрать недостающую информацию и отказаться от "догадок", что значительно улучшит качество конечного изображения.


Традиционный цифровой зум - это тоже форма гадания на кофейной гуще. В конце концов, он берет обрезанные фотографии и растягивает их до более высокого разрешения, при этом пытаясь угадать цвет создаваемых пикселей по цвету его соседей. Легко догадаться, что если мы возьмем результат одного считывания кофейной гущи (демозаика) и поместим другое показание на кофейную гущу (цифровое увеличение), конечный результат может быть не лучшим.

Недостатки? Когда мы читаем описание этого решения ***, оно показывает, что Super-Rez нужна разрешающая способность объектива, которая должна превышать разрешающую способность матрицы камеры. На практике это не может быть реализовано в камерах с новыми датчиками с очень высоким разрешением и / или с очень ярким объективом (обычно это работает таким образом, что чем ярче объектив на смартфоне, тем он менее резкий). Мы подозреваем, что это ограничение, по крайней мере, частично объясняет тот факт, что в техническом плане аппараты последовательных Пикселей уже несколько лет стоят на месте.

 

6. Что это значит на практике?

Это еще не конец возможностей использования вычислительной фотографии на практике. Есть, например, алгоритмы, которые склеивают фотографии при съемке группы людей, так что на финальном изображении все улыбаются и открывают глаза, даже если в серии нет ни одной фотографии, в которой у всех были бы глаза открыты одновременно.

Как видите, единственное препятствие на пути развития вычислительной фотографии - это воображение и талант программистов. И именно талант программистов, работающих в данной компании, в последние годы начал оказывать даже большее влияние на конечное качество камеры, чем оборудование, используемое для ее создания. Ведь развитие техники только позволяет приближаться к ее максимальным теоретическим возможностям, а вычислительная фотография позволяет их превосходить. Об этом стоит помнить, когда в следующий раз вы будете читать о выпуске нового смартфона с еще большим количеством мегапикселей и камер. Благодаря этому вас не обманут, и вы сделаете более осознанный выбор устройства, которое будет соответствовать вашим фотографическим ожиданиям.

* Этот эффект также зависит от расстояния до объекта и фокусного расстояния используемого объектива в соответствии с принципом, согласно которому, чем ближе к объекту и чем больше фокусное расстояние (больший масштаб), тем меньше глубина резкости / более размытый фон.

** Если Pixel размещен на штативе или стабилизируется каким-либо другим способом (например, прижимая его к стеклу), камера начинает перемещать объектив, чтобы сдвинуть фотографии на необходимое расстояние.

*** Если вам интересно, рекомендуем просмотреть материалы, связанные с выступлением сотрудников Google на конференции Siggraph 2019. Кстати, вы можете узнать, как камеры смартфонов соотносятся с современными технологиями временного сглаживания и временной реконструкции, используемыми в играх.

Автор: Технологии

 




Оставьте свой комментарий.
Будь-те первым, поделитесь мнением с остальными.
avatar