iPhone vs Android: Dva různé přístupy k fotografování a strojovému učení

Výpočetní fotografie Applu si klade za cíl realismus

AppleInsider může získat přidruženou provizi za nákupy uskutečněné prostřednictvím odkazů na našich stránkách.

Není velkým tajemstvím, že Apple spoléhá na pokročilé algoritmy a výpočetní fotografii pro téměř všechny funkce fotoaparátu iPhone. Uživatelé se však začínají ptát, kde nakreslit hranici mezi těmito algoritmy a něčím rušivějším, jako je změna pixelů po zachycení.

V tomto díle prozkoumáme kontroverze kolem fotografií měsíce Samsungu, jak společnost řeší počítačovou fotografii a co to znamená pro Apple a jeho konkurenty do budoucna.

Počítačová fotografie není nový koncept. Bylo to nezbytné, protože lidé chtěli od svých malých fotoaparátů smartphonů více výkonu.

Základní myšlenkou je, že počítače dokážou během okamžiku provést miliardy operací, jako například po stisknutí spouště fotoaparátu, a nahradit tak potřebu základních úprav nebo použít pokročilejší opravy. Čím více dokážeme naprogramovat počítač, aby po stisknutí spouště udělal, tím lepší fotografie může být.

Začalo to systémem duálních fotoaparátů společnosti Apple na iPhonu 7. Jiné fotografické inovace, jako jsou Live Photos, by mohly být považovány za výpočetní fotografii, ale režim Portrét byl pro Apple zlomem.

Apple v roce 2016 představil režim Portrét, který vzal data o hloubce ze dvou fotoaparátů na iPhonu 7 Plus, aby vytvořil umělý bokeh. Společnost tvrdila, že to bylo možné díky systému duálního fotoaparátu a pokročilému procesoru obrazového signálu, který provedl 100 miliard operací na fotografii.

Netřeba dodávat, že to nebylo dokonalé, ale byl to krok do budoucnosti fotografie. Technologie fotoaparátů by se nadále přizpůsobovala tvaru smartphonu, čipy by byly rychlejší a obrazové senzory by byly výkonnější na čtvereční palec.

Režim Portrét používá k oddělení popředí výpočetní fotografii

V roce 2023 není neslýchané natáčet filmově rozmazané video pomocí pokročilých výpočetních enginů se smíšenými výsledky. Počítačová fotografie je všude, od Photonic Engine po Photographic Styles – algoritmus zpracovává každou fotografii pořízenou na iPhone. Ano, dokonce i ProRAW.

To vše si vyžádala touha lidí zachytit svůj život zařízením, které měli po ruce – svým iPhonem. Vyhrazené fotoaparáty mají na své straně fyziku s velkými senzory a obřími objektivy, ale průměrný člověk nechce utrácet stovky nebo tisíce dolarů za speciální zařízení.

Počítačová fotografie tedy zasáhla, aby vylepšila to, co dokážou malé senzory smartphonů. Pokročilé algoritmy postavené na velkých databázích informují procesor obrazového signálu, jak zachytit ideální snímek, zpracovat šum a exponovat objekt.

Existuje však velký rozdíl mezi používáním výpočetní fotografie k vylepšení možností fotoaparátu a úpravou snímku na základě dat, která snímač nikdy nezachytil.

Aby bylo jasno: Apple používá modely strojového učení – nebo „AI, umělá inteligence“ pro ty, kteří používají špatně vytvořený populární nový buzzword – pro výpočetní fotografii. Algoritmy poskytují informace o ovládání vícesnímků za účelem dosažení nejlepších výsledků nebo vytvoření profilů hloubky ostrosti.

Obrazový procesor analyzuje tón pleti, oblohu, rostliny, domácí mazlíčky a další, aby zajistil správné zbarvení a expozici, nikoli náhradu pixelů. Nehledá objekty, jako je Měsíc, aby poskytoval konkrétní vylepšení na základě informací mimo snímač fotoaparátu.

Poukazujeme na to, protože ti, kdo diskutují o měsíčních fotografiích Samsungu, použili výpočetní fotografii společnosti Apple jako příklad toho, jak jiné společnosti provádějí tyto fotografické úpravy. Tak to prostě není.

Měsíční algoritmus společnosti Samsung v akci. Kredit: u/ibreakphotos na Redditu

Samsung zdokumentoval, jak telefony Samsung od Galaxy S10 zpracovávají obrázky pomocí rozpoznávání a pozměňování objektů. Scene Optimizer začal s Galaxy S21 rozpoznávat Měsíc.

Jak popisuje nedávno publikovaný dokument, „AI“ rozpoznává Měsíc prostřednictvím naučených dat a je použita funkce motoru pro vylepšení detailů, aby byla fotografie jasnější pomocí syntézy více snímků a strojového učení.

Zařízení Samsung v zásadě rozpoznají nezakrytý měsíc a poté použijí další obrázky a data o Měsíci s vysokým rozlišením k syntéze lepšího výstupu. Výsledkem není snímek zachycený fotoaparátem zařízení, ale něco nového a vyrobeného.

Celkově je tento systém chytrý, protože Měsíc vypadá stejně bez ohledu na to, kde je na Zemi pozorován. Jediné, co se mění, je barva světla odraženého od jeho povrchu a samotná fáze měsíce. Vylepšení měsíce na fotografii bude vždy jednoduchý výpočet.

Zařízení Samsung i Apple pořizují vícenásobnou expozici pro pokročilé výpočty. Oba analyzují více zachycených snímků pro nejlepší část každého z nich a spojí je do jednoho vynikajícího snímku. Samsung však pro rozpoznané objekty, jako je Měsíc, přidává další krok, který zavádí nová data z jiných snímků Měsíce s vysokým rozlišením pro korekci Měsíce v konečném pořízeném snímku.

Vysvětlení měsíčního algoritmu společnosti Samsung. Kredit: Samsung

To nemusí být nutně špatná věc. Prostě to není něco, co by Samsung nedal jasně najevo ve své reklamě nebo marketingu produktů, což může vést ke zmatení zákazníků.

Problém tohoto procesu a důvod, proč existuje debata, spočívá v tom, jak to ovlivňuje budoucnost fotografie.

Stručně řečeno, konečný obrázek nepředstavuje to, co senzor detekoval a algoritmus zpracoval. Představuje idealizovanou verzi toho, co by mohlo být možné, ale není tomu tak, protože snímač fotoaparátu a objektiv jsou příliš malé.

Z našeho pohledu byla klíčovou zásadou fotografie iPhone vždy realismus a přesnost. Pokud existuje dokonalý střed v saturaci, ostrosti a expozici, Apple v posledním desetiletí směřoval blízko středu, i když ne vždy zůstal dokonale konzistentní.

Uznáváme, že fotografie je neuvěřitelně subjektivní, ale zdá se, že fotografie Androidu, konkrétně Samsungu, se od realismu odklonila. Opět ne nutně negativní, ale názorová volba společnosti Samsung, kterou musí zákazníci oslovit.

Pokud jde o tuto diskusi, zařízení Samsung a Pixel se pomalu odklánějí od tohoto ideálního realistického reprezentačního středu. Soutěží o větší sytost, ostrost nebo denní expozici v noci.

Výše uvedený příklad ukazuje, jak Galaxy S22 Ultra upřednostnil větší expozici a sytost, což vedlo ke ztrátě detailů. Nevinné a zaujaté volby, ale iPhone 13 Pro v tomto případě jde domů s podrobnější fotografií, kterou lze později upravit.

Tento rozdíl v tom, jak jsou fotografie pořizovány, je nastaven v zaujatých algoritmech používaných každým zařízením. Jak tyto algoritmy postupují, budoucí fotografická rozhodnutí by mohla vést k rozhodnějším rozhodnutím, která nelze později vrátit.

Například změnou vzhledu Měsíce pomocí pokročilých algoritmů bez upozornění uživatele se tento obraz navždy změní tak, aby odpovídal tomu, co společnost Samsung považuje za ideální. Jistě, pokud uživatelé vědí, že funkci vypnout, mohli by, ale pravděpodobně to neudělají.

Jsme nadšení z budoucnosti fotografie, ale jako fotografickí nadšenci doufáme, že nebude tak neviditelná. Stejně jako režim Portrét od společnosti Apple, živé fotografie a další techniky zpracování – aktivujte je pomocí zřejmých přepínačů. Udělejte to také reverzibilní.

Klepnutím na spoušť v hlavní aplikaci fotoaparátu zařízení byste měli pořídit reprezentativní fotografii toho, co senzor vidí. Pokud uživatel chce více, nechte ho přidat pomocí přepínačů před nebo úpravy po.

Zkuste zatím fotit noční oblohu s ničím jiným než s iPhonem a stativem. Funguje to.

Je důležité zdůraznit, že není problém nahradit ošklivou zářící kouli na obloze řádným měsícem, stejně jako není problém odstranit z fotografie lidi nebo odpadky (nebo popeláře). Musí to však být ovladatelný, přepínatelný a viditelný proces pro uživatele.

Počítačová fotografie je budoucnost, v dobrém i zlém

Jak algoritmy postupují, uvidíme více idealizovaných a zpracovaných obrázků ze smartphonů Android. Nejhorší pachatelé přímo odstraní nebo vymění předměty bez předchozího upozornění.

Apple nevyhnutelně vylepší své zpracování obrazu a algoritmy na zařízení. Ale na základě toho, jak se společnost k fotografii dosud postavila, očekáváme, že tak bude činit s ohledem na uživatelovu touhu po realismu.

Tribalismus v technické komunitě vždy způsoboval debaty mezi uživateli. Mezi ně patří Mac nebo PC, iPhone nebo Android a brzy skutečné nebo ideální fotografie.

Doufáme, že Apple bude i nadále volit realismus a uživatelskou kontrolu nad fotografiemi. Dát společnosti naprostou kontrolu nad tím, co uživatel zachytí fotoaparátem, až po úpravu snímků tak, aby odpovídaly ideálu, se nezdá jako budoucnost, jejíž bychom chtěli být součástí.