Netflixs AI-assisterte grønne skjerm bader skuespillere i iøynefallende magenta
Prosessen med å komponere, eller plassere skuespillere foran en bakgrunn som faktisk ikke er der, er like gammel som selve filmskapingen – og det har alltid vært en smerte. Netflix har en ny teknikk som er avhengig av maskinlæring for å gjøre noe av det harde arbeidet, men det krever belysning av skuespillere i en glorete magenta.
I flere tiår var den enkleste komposisjonsmetoden chroma keying, der skuespillere står mot en fargesterk bakgrunn (opprinnelig blå, senere grønn) som lett kan identifiseres og erstattes med alt fra et værkart til en kamp med Thanos. Forgrunnen sies å være “mattet” og bakgrunnen er en gjennomsiktig “alfa”-kanal manipulert sammen med de røde, grønne og blå kanalene.
Det er enkelt og billig, men det er noen ulemper med dette, blant dem problemer med gjennomsiktige gjenstander, fine detaljer som hår og selvfølgelig alt annet med lignende farge som bakgrunnen. Det er imidlertid vanligvis godt nok til at forsøk på å erstatte det med mer sofistikerte og dyre metoder (som et lysfeltkamera) har forsvunnet.
Netflix-forskere prøver imidlertid på det, med en kombinasjon av gammelt og nytt som kan gi enkel, ulastelig komposisjon – på bekostning av et helvetes belysningsoppsett.
Som beskrevet i en nylig publisert artikkel, produserer deres “Magenta Green Screen” imponerende resultater ved i hovedsak å sette skuespillerne i en lyssandwich. Bak dem, lys grønn (aktivt opplyst, ikke et bakteppe); foran, en blanding av rødt og blått, noe som gir dramatiske kontrastfarger.
Skuespillere opplyst i magenta mot en grønn skjerm. Bildekreditt: Netflix
Det resulterende utseendet på settet får sannsynligvis selv den mest erfarne postproduksjonsartisten til å svikte. Vanligvis vil du lyse opp skuespillerne dine sterkt med et ganske naturlig lys, så selv om de kan kreve litt punching her og der, er utseendet deres i kameraet relativt normalt. Men hvis de utelukkende lyser med rødt og blått lys, forvrenger det utseendet fullstendig, siden normalt lys ikke har en stor del av spekteret kuttet ut.
Men teknikken er også smart ved at ved å gjøre forgrunnen kun rød/blå og bakgrunnen kun grønn, forenkler det prosessen med å skille de to. Et vanlig kamera som vanligvis fanger disse fargene, fanger i stedet rødt, blått og alfa. Dette gjør de resulterende mattene ekstremt nøyaktige, og mangler artefaktene som kommer fra å måtte separere en fullspekterinngang fra en nøkkelbakgrunn med begrenset spektrum.
Selvfølgelig ser det ut til at de bare har erstattet en vanskelighet med en annen: Prosessen med å komponere er nå enkel, men det er vanskelig å gjenopprette den grønne kanalen til de magenta-belyste motivene.
Det må gjøres systematisk og adaptivt, siden emner og komposisjoner er forskjellige, men en “naiv” lineær tilnærming til å injisere grønt resulterer i et utvasket, gulaktig utseende. Hvordan kan det automatiseres? AI til unnsetning!
Teamet trente en maskinlæringsmodell på deres egne treningsdata, i hovedsak «innøving» av lignende scener, men opplyst normalt. Det konvolusjonelle nevrale nettverket får flekker av fullspektret bildet for å sammenligne med de magenta-opplyste, og utvikler en prosess for raskt å gjenopprette den manglende grønne kanalen på en mer intelligent måte enn en enkel algoritme.
En enkel algoritme fører til dårlige resultater (øverst), mens en mer sofistikert ML-modell produserer farger som ligner veldig på grunnsannheten. Bildekreditt: Netflix
Så fargen kan gjenopprettes overraskende bra i posten (den er “praktisk talt umulig å skille” fra en bakkesannhet i kameraet) – men det er fortsatt problemet med at skuespillerne og settet må lyses på denne grusomme måten. Mange skuespillere klager allerede over hvor unaturlig det er å jobbe foran en grønn skjerm – forestill deg å gjøre det mens du lyser i et hardt, umenneskelig lys.
Papiret tar imidlertid opp dette, med muligheten for å “tidsmultiplekse” belysningen, i hovedsak slå den magenta/grønne belysningen av og på flere ganger per sekund. Dette er distraherende (til og med farlig) å gjøre 24 ganger i sekundet (dvs. bildehastigheten de fleste filmer og TV-er tas opp), men hvis de slår opp lyset raskere – 144 ganger i sekundet – virker det “nesten konstant”.
Dette krever imidlertid en kompleks synkronisering med kameraet, som bare må fange lys i de korte øyeblikkene scenen er magenta. Og de må ta hensyn til manglende rammer for bevegelse også…
Som du kan se, er dette fortsatt veldig eksperimentelt. Men det er også en interessant måte å ta tak i et eldgammelt problem innen medieproduksjon med en frisk, høyteknologisk tilnærming. Dette ville ikke vært mulig for fem år siden, og selv om det kanskje eller ikke kan bli adoptert på settet, er det klart verdt å prøve.