Kā AI ainas atpazīšana uzlaboj jūsu fotogrāfijas
Mākslīgais intelekts automātiski atpazīst ainas un pielāgo kameras iestatījumus optimāliem rezultātiem.
Lasīt rakstuKā moderni viedtālruņi un kameras simulē profesionālas DSLR bokeh efektu ar skaitļošanas algoritmu palīdzību
Bokeh — tas ir vienkārši brīnumains vizuālais efekts, kurš noskaidro fonu portretfotogrāfijā. Tas nav jauns vērojums. Fotografi ir mēģinājuši to iegūt gadu desmitus, izmantojot dārgus objektīvus ar plašiem diafragmas atvērtumiem. Bet šodien? Tas notiek jūsu kabatā.
Problēma bija tāda — maziem sensora lielumiem viedtālruņos ir grūti iegūt šo skaisto neskaidritību. Telefoniem vienkārši nav fiziskā veida to reproducēt tradicionāli. Tāpēc inženieri sāka domāt atšķirīgi. Viņi izmantoja mākslīgo intelekti, lai analizētu attēlu un manuāli izveidotu bokeh efektu. Un tas darbojas pārsteidzoši labi.
Tehnika ir vienkārša, bet efektīva. Viedtālrunis sāk ar diviem attēliem — vienu no galvenās kameras un vienu no tālummaiņas vai stereo sensoriem. Šis stereoparadīgms palīdz ierīcei saprast, kuri objekti atrodas tuvu un kuri tālu. Tieši tāpat kā jūsu acis redz 3D pasauli.
Tad ienāk mākslīgais intelekts. Neirālo tīklu algoritmi analizē katru pikseļu un nosaka, vai tas ir personīgs vai fons. Sistēma izveido maska — vienkāršs digitāls attēls, kurš saka "cilvēks šeit, fons tur." Pēc tam skaitļošanas kodols pielieto Gausa neskaidritību tikai fona daļai, imitējot to, ko dara atvērta diafragma fiziskajā optikā. Rezultāts? Profesionāls izskatīgs bokeh, ne sekundes dēļ.
Dažādi ražotāji izmanto atšķirīgas stratēģijas. Google Pixel fokusējas uz neirālo tīklu maska veidošanu — tā ir precīza un ļoti skaista. Apple izmanto lidar sensorus jaunākos modeļos, kas dod faktiskas dziļuma kartes. Samsung kombinē vairākus sensorus dažādu fokusa attālumu iegūšanai.
Bet vēl viena svarīga lieta — bokeh formas. Reālā dzīvē bokeh apaļums ir atkarīgs no objektīva atvērtuma formas. Apļveida atvērtums dod gludus apļus, astoņstūra atvērtums dod astoņstūra bokeh. Skaitļošanas bokeh var reproducēt jebkuru formu. Dažos telefonos jūs varat pat izvēlēties bokeh stilu — tas ir kā fotogrāfijas spēles līdzeklis.
Sincerībai — tā ir patiešām laba. Mūsdienās flagšipu telefoni ģenerē bokeh, kas ir vienkārši neatšķirams no faktiskas optiskās bokeh. Bija laiki, kad jūs varējāt redzēt artefaktus — dzibinājumus matus apkārt, nepareizas malas, neskaidritības, kas neizskatīsies naturāli. Bet tas ir pagājis.
Moderni algoritmi precīzi apstrādā malas starp objektu un fonu, izvairoties no "papīra izgriezuma" efekta.
Neskaidritības gradācija mainās atbilstoši dziļumam — tāpat kā reālajā optikā, nevis vienmērīga visur.
Apstrāde nav mājātas uz portreta sejas, tāpēc krāsas paliek naturālas un vietas netiek pārkrautotas.
Viss notiek reāl-laikā jūsu telefonā, bez jaunas augšupielādes vai kavējuma.
Bokeh neizskatās labi vienmēr. Ir noteikti apstākļi, kur tas tiesai spēlē tā visspēcīgākā karte. Vispirms — personīgā distancē. Ja jūs esat apmēram 1–2 metru attālumā no sejas, bokeh algoritmi darbojas ideāli. Tie var nodalīt cilvēku no fona bez kļūdām.
Otrais — fons svarīgs. Bokeh izceļas, ja fons ir bagāts detaļas — lapu, ēkas, citu cilvēku apkārtne. Tukšs gaiss vai viendabīgs fons nesniedz daudz vietas, kur bokeh varētu darboties. Bet ja skaistums fons, tas mainās spēli pilnībā. Treškārt — gaisma. Daļēji aizēnota gaisma, kur ir skaiti un ēnas, padara bokeh skaistāku, jo neskaidritums izskatās organiskāks.
Mēs runājam par matemātiku, nevis par fiziku. Tas nozīmē, ka skaitļošanas bokeh var nokļūt vietās, kur optiskais bokeh nekad nevar. Tuvā attālumā, piemēram, 30 centimetri, algoritmi var paņemt grūti, jo stereo sensoru disparitāte ir mazāka. Ātrā kustība var arī radīt neskaidritības artefaktus — sistēma nevar seko pietiekami ātri.
Vēl viena lieta — dažreiz bokeh algoritmi pārskatā mazie detaļi. Plāni mati, sīkas lapas vai stikls var nokļūt neskaidritībā, kad tas nedrīkstētu. Bet pēdējie Google Pixel modeļi ir samazinājuši šos izlaistus, līdz divas reizes labāk nekā pirms pāris gadiem. Tas ir progresīvi — inženieri nemitīgi uzlaboja neirālo tīklu modeļus.
"Skaitļošanas bokeh ir apvērsusi to, kā parastie cilvēki var uzņemt profesionāli izskatošus portredus. Tas nav ideāls katru reizi, bet 95 procenti uzņemumu ir labi."
Portreta bokeh apstrāde ir viena no spilgtākajām skaitļošanas fotogrāfijas izpausmēm. Tas nav tikai "filter" vai "efekts" — tas ir reāla optiska simulācija, kas darbojas ar neirālajiem tīkliem un dziļuma novērtēšanu. Tas padara profesionālas kvalitātes portretfotogrāfiju pieejamu ikvienam, kurš ir kabatā noņem telefonu.
Nākotnē bokeh apstrāde tiks vēl labāka. Kameras sensori kļūs jutīgāki, algoritmi — precīzāki, un iespējams, viena diena mēs redzēsim, ka skaitļošanas bokeh un optiskais bokeh ir pilnīgi neatšķirams. Bet palaist laiku — šodien tas jau ir pienācīgi ievērojams. Tā ir fotogrāfijas nākotne, un tā sākas tagad.
Vēlies uzzināt vairāk par citu skaitļošanas fotogrāfijas tehnikām?
Pārlūkot citus rakstusŠis raksts ir informatīvs materiāls par skaitļošanas bokeh algoritmi un portretfotogrāfijas tehnikām. Tas nav profesionāls fotogrāfijas padoms un ne vienmēr var piemērot jūsu konkrētajam telefonam vai kamerai. Dažādiem ražotājiem un modeļiem ir atšķirīgi bokeh algoritmi ar atšķirīgu kvalitāti. Vislabāk ir pašam eksperimentēt ar savu ierīci, lai saprastu, kā tas darbojas jūsu gadījumā.