Sony A7c, "gyro data" och postprocessstabilisering av video

[Sten-Åke Sändh]

Jag har tidigare sett att A7sIII fått en möjlighet att i postprocessning, med hjälp av Cathalyst Browse-programvaran, åstadkomma bättre bildstabilisering än tidigare i video.

Nu kan man se i en video som visas på SAR att denna teknik uppenbarligen stöds även i nya A7c, men det är tydligen inget Sony sagt ett ljud om man får tro denna video. Är inte det lite märkligt i så fall? Är det här ytterligare ett exempel på när Sony slirat med att tala om för användarna vilka nya funktioner de skickat med i nya modeller? ... eller är detta bara en tyst positioneringförstärkning till förmån för A7s III?

Det här låter väl annars som en intressant function som borde kunna intressera många videofotografer. Den verkar ju kunna råda bot på de stabiliseringsproblem som ibland kunnat identifieras vid snabba förflyttningar med Sonys IBIS.

 

[PMD]

Bildstabilisering för video i efterbehandlingen har funnits i ganska många år. Adobe har något videoredigeringsprogram med den finessen och ffmeg har ett filter för samma sak. Hur bra det har fungerat vet jag ej. De programmen (och andra liknande) förlitar sig inte på hjälp från kameran.

Framgår det av SAR-videon vad A7S III gör som underlättar för efterbehandlingsprogrammet att åstadkomma en stabil bild?

 

[afe]

A7S III, och några andra Sonykameror, har ett inbyggt gyro som lagrar hur kameran rör sig tillsammans med filmen. Det gör det förstås mycket lättare för programmet att i efterhand stabilisera filmen. Jag gissar att det är ungefär samma teknik som används i Gopros senaste kameror, förutom att det inte görs direkt i kameran i Sonys kameror (p.g.a. för stor datamängd troligen).

Det blir nästan som om man filmat med en gimbal, och fungerar förstås bäst med så vidvinkligt objektiv som möjligt (eftersom det måste beskäras rätt friskt för att få det stabilt). Den typen av stabilisering är svår att göra i efterhand utan gyrodata från kameran, eftersom mjukvaran förstås inte har en aning om vad det är som ska stabiliseras (kamerarörelserna). Med gyrodata från kameran behöver inte mjukvaran gissa.

Jag håller med S-Å att det är lite lustigt att Sony inte själva berättar att det här faktiskt är något som finns också i A7c, men det kanske är för att de marknadsför kameran som en semesterkamera för folk som inte är intresserade av att ladda hem ett speciellt program (Sony Catalys Browse) bara för att stabilisera sin film. För de flesta vloggare är det här en jättebra funktion, och de behöver oftast inte lika avancerade videofunktioner som A7S III.

Finns en bra exempelfilm här gjord med A7S III:

 

[Sten-Åke Sändh]

Anders, tror du att detta gyrodata även kommer kunna användas av exv. RAW-konverterare längre fram i tiden. Kan inte en stillbild stabiliseras på liknande sätt som flera frames kan i en video? ... eller kommer denna teknik bara att funka för video? Jag tänkte att det kanske kunde funka som ett komplement till Sonys antiskak som ju tydligen inte är state of the art om man rör sig snabbt exv. springer som i de exempel jag sett. Det verkar ju fantastiskt effektivt i video. Men man kommer väl alltid att kunna plocka ut stillbilder ur video i efterhand, men det blir ju i en lite lägre upplösning trots allt.

En annan sak jag undrar över som du berör är beskärningen, som ju är priset man betalar. Kollar man den demo som låg på SAR, så verkade det ju som om man själv kunde kontrollera den trade off som finns mellan stabiliseringsgrad och beskärning. Verkar väldigt cool.

När jag kollat ditt klipp så gäller ju följande: less shake=less crop. En annan sak som sägs är ju att man måste helt stänga av både SSS i kameran och OSS i objektiven om gyrodata ska användas. Är inte det konstigt? Då kan man ju inte dra nytta av den effekten de delsystemen kan ge för att få "less shake" som ingångsvärde. Beror det kanske på att SSS använder samma gyron som "gyrodatasystemet" på något sätt? Jag har inte riktigt koll på detta.

Tycker fortfarande att det är korkat av Sony att inte infornera om de finesser som faktiskt finns. De har ju ingen aning om vilka som faktiskt kommer köpa kameran och vad de kommer göra med den. Det här kan t.o.m. möjligen vara en bra och rent av avgörande "selling point" för vissa köpare.

 

[Falumas]

På stilbilder har du ingen chans att rädda upp situationen med gyrodata.

På video måste inte varje bild vara superskarp, lite rörelseoskärpa är ok. Det det kan rädda upp är att filmen blir hoppig av att kameran inte hålls stabil. Som afe skriver så sker detta genom att man cropar och har mer data för att kunna hantera i efterbehandlingen där cropen så att säga flyttas omkring i bilderna för att få ungefär samma utsnitt hela tiden trots att kameran inte riktades åt extakt samma håll hela tiden.

Programvarorna fixar detta väldigt bra idag även utan gyrodata, men med gyrodata och anpassat digital stabilisering så kan säkerligen processen snabbas upp.

 

[c.m.s]

Programvarorna fixar detta väldigt bra idag även utan gyrodata, men med gyrodata och anpassat digital stabilisering så kan säkerligen processen snabbas upp.

Resultatet blir ju också klart bättre när algoritmen har mer information att jobba med. Se exempel i filmen ovan.

 

[Falumas]

Det är nog väldigt speciella förhållanden då det ger klart bättre resultat.

Dom snuttarna som visas där tror jag skulle bli lika bra stabiliserade utan gyrodata. Däremot ser det ut att gå ruskigt snabbt att stabilisera med gyrodata.

 

[afe]

Det blir klart bättre resultat i alla handhållna situationer, vilket ju också syns i videon där de jämför olika tekniker. Det säger ju sig självt att det blir bättre när mjukvaran inte behöver gissa hur kameran rört sig.

Jag är övertygad om att den här tekniken kommer att komma hos fler tillverkare, och så småningom säkert också att det kan göras direkt i kameran på samma sätt som GoPro kan göra idag.

Här är ett exempel på hur en GoPro Max kan stabilisera - kan man komma ens i närheten av det med en systemkamera blir behovet av en gimbal mycket mindre:

 

[Sten-Åke Sändh]

På stilbilder har du ingen chans att rädda upp situationen med gyrodata.

På video måste inte varje bild vara superskarp, lite rörelseoskärpa är ok. Det det kan rädda upp är att filmen blir hoppig av att kameran inte hålls stabil. Som afe skriver så sker detta genom att man cropar och har mer data för att kunna hantera i efterbehandlingen där cropen så att säga flyttas omkring i bilderna för att få ungefär samma utsnitt hela tiden trots att kameran inte riktades åt extakt samma håll hela tiden.

Programvarorna fixar detta väldigt bra idag även utan gyrodata, men med gyrodata och anpassat digital stabilisering så kan säkerligen processen snabbas upp.

Har jag fattat det rätt att man måste välja antingen eller när det gäller video? Att man kan filma med SSS och OSS på eller välja att slå av dessa och använda gyrodata istället men att det inte går att köra med allt på samtidigt.

Det sägs ju i filmerna att det blir bäst om videon tas med så lite skak som möjligt då cropningen behöver bli mindre då. Vore det inte bra då av det skälet att ha SSS och OSS på då eller får man problem då med någon form av interferens?

Är detta omöjligt för att samma gyro används för SSS också? Jag vill alltså veta varför det inte går.

 

[Bengf]

Vad är det då som RX100 varianten ZV-1 har för special Active läge SS, som demonstreras i senaste numret av Fotosidans magasin, fungerar kanon bra skriver testaren när han filmar sig själv, nackdelen är att med det läget så beskärs sensorn, så att det försämrar vidvinkeln vid nära filmning av sig själv.

 

[Sten-Åke Sändh]

Martin eller Magnus på Fotosidan kanske kunde vidarebefordra frågan till Sony nästa gång de träffar någon av deras tech-killar.

 

[afe]

Vad är det då som RX100 varianten ZV-1 har för special Active läge SS, som demonstreras i senaste numret av Fotosidans magasin, fungerar kanon bra skriver testaren när han filmar sig själv, nackdelen är att med det läget så beskärs sensorn, så att det försämrar vidvinkeln vid nära filmning av sig själv.

ZV1 lagrar gyrodata och kan alltså stabiliseras i efterhand med Catalystprogrammet, alternativt kan det göras direkt i kameran men då blir det en beskärning på ungefär 25% och bildvinkeln blir lite väl snäv. Även i Catalyst blir det en beskärning, men där behöver det inte bli lika mycket. Den kameran skulle tjänat på att ha ett vidvinkligare objektiv för att kunna utnyttja dessa funktioner bättre.

Det sägs ju i filmerna att det blir bäst om videon tas med så lite skak som möjligt då cropningen behöver bli mindre då. Vore det inte bra då av det skälet att ha SSS och OSS på då eller får man problem då med någon form av interferens?

Nej, det går inte att kombinera stabilisering i kamera/objektiv med gyrodata. Det är inte så konstigt eftersom gyrodatat håller koll på hur kameran rört sig och om man skulle försöka kompensera för det samtidigt som man använt optisk eller sensorstabilisering blir det förstås ett grötigt resultat.

Hårdvaran är mycket bra på att ta bort mindre rörelser och skakningar, men kan inte kompensera för större rörelser - för det krävs antingen en gimbal eller den här typen av lösning med gyrodata och elektronisk stabilisering. Att det bara fungerar för film och inte stillbilder är inte heller så konstigt, eftersom justeringen görs för varje bildruta. Det går liksom inte att flytta omkring pixlarna i en enda exponering ...

Möjligen skulle man kunna tänka sig att gyrodata kan underlätta för program som försöker stabilisera skakoskärpa genom att gissa sig till hur pixlarna rört sig (t.ex. Photoshop har denna funktion), men jag tvivlar på att det skulle göra så stor skillnad.

 

[Falumas]

I en stillbild är bilden så att säga förstörd av skakningsoskärpa. Det går inte att fixa till i efterbearbetningen med ren mattematik, skulle behövas AI-funktionalitet som gissar hur det skulle ha varit.

Enda möjligheten hade varit om du t.ex. delar slutartiden med 10 och kör 10 exponeringar istället och sedan använder samma funktionalitet som videostabiliseringen för att slå ihop dom till en bild. Vilket givetvis bara fungerar på saker som berg och annat som rör sig lika mycket som berg.

Angående IBIS/VR så behövs ännu mer information för att få till det tillsammans med gyrodata. Där skulle du behöva gyrodata och all data från objektiv och sensor för att räkna ut hur mycket stabiliseringen lyckades kompensera. Med den datan också så blir nog hela stabiliseringsalgoritmen otroligt processorkrävande (och förmodligen en väldigt komplicerad algoritm att ta fram) för att räkna ut hur mycket skakningar som blev kvar att kompensera för, det skulle dessutom helt säkert kräva nya objektiv som kan samla in den datan och skicka det till kameran.

 

[PMD]

Nej, det går inte att kombinera stabilisering i kamera/objektiv med gyrodata. Det är inte så konstigt eftersom gyrodatat håller koll på hur kameran rört sig och om man skulle försöka kompensera för det samtidigt som man använt optisk eller sensorstabilisering blir det förstås ett grötigt resultat.

Kameran vet väl hur mycket gyrostabiliseringen i ett objektiv har flyttat på IS-gruppen och borde väl kunna ta hänsyn till det när den registrerar gyrodata för stabilisering i efterbehandling?

För IBIS kan det nog vara knepigare.

 

[Falumas]

Det blir klart bättre resultat i alla handhållna situationer, vilket ju också syns i videon där de jämför olika tekniker. Det säger ju sig självt att det blir bättre när mjukvaran inte behöver gissa hur kameran rört sig.

Jag är övertygad om att den här tekniken kommer att komma hos fler tillverkare, och så småningom säkert också att det kan göras direkt i kameran på samma sätt som GoPro kan göra idag.

Här är ett exempel på hur en GoPro Max kan stabilisera - kan man komma ens i närheten av det med en systemkamera blir behovet av en gimbal mycket mindre:

Dom jämförde med tre programvaror för stabilisering. Jag känner inte till någon av dom, men det finns betydligt fler på marknaden.

 

[Falumas]

Kameran vet väl hur mycket gyrostabiliseringen i ett objektiv har flyttat på IS-gruppen och borde väl kunna ta hänsyn till det när den registrerar gyrodata för stabilisering i efterbehandling?

För IBIS kan det nog vara knepigare.

Jag skulle säga tvärt om. Kameran vet nog inte alls vad objektivstabiliseringen gjort, medans den borde ha koll på IBISen.

 

[afe]

Jag tror inte det lagras någonstans hur objektiv eller sensor stabiliserats, men oavsett det skulle det bli kaka på kaka eftersom gyrodatat främst används för att kompensera för rörelser och inte skakningar. Jag gissar att man skulle kunna råka ut för en effekt där kameran kompenserat för skakning åt ett håll och programvaran kompenserar för en rörelse åt andra hållet ...

IBIS eller optisk stabilisering är väldigt effektivt när kameran är något så när stationär och riktad åt ett håll, men gör mycket lite nytta om man handhåller kameran och går omkring och filmar (eller rör sig på andra sätt).

 

[Falumas]

IBIS kan jag hålla med om, men objektivstabiliseringen gör att jag kan ta stabila filmer gåendes. Springandes klarar jag inte av. Objektivstabiliseringen kompenserar för vridningar vilket är det som skapar problemen ut mot kanterna vid stabilisering i efterbearbetningen.

Jag tror inte heller att datan från kamera och objektivstabilisering sparas idag, men det måste vara möjligt att spara den och då kan du förmodligen utveckla en algoritm som klarar av att kombinera datat.

Saknar en goPro all form av stabilisering av optik och sensor?

 

[PMD]

Jag tror inte det lagras någonstans hur objektiv eller sensor stabiliserats, men oavsett det skulle det bli kaka på kaka eftersom gyrodatat främst används för att kompensera för rörelser och inte skakningar. Jag gissar att man skulle kunna råka ut för en effekt där kameran kompenserat för skakning åt ett håll och programvaran kompenserar för en rörelse åt andra hållet ...

IBIS eller optisk stabilisering är väldigt effektivt när kameran är något så när stationär och riktad åt ett håll, men gör mycket lite nytta om man handhåller kameran och går omkring och filmar (eller rör sig på andra sätt).

Skakningar och rörelser är samma sak. Det är utsträckningen i tid som skiljer. Om kameran vet hur objektivet har kompenserat för skakningar så borde det datat kunna användas i kombination med det andra gyrodatat.

Jag gissar också, förstås, eftersom jag inte vet hur sådana här system är programmerade.

 

[afe]

I en stillbild är bilden så att säga förstörd av skakningsoskärpa. Det går inte att fixa till i efterbearbetningen med ren mattematik, skulle behövas AI-funktionalitet som gissar hur det skulle ha varit.

Det är väl det Photoshop har i sin funktion för detta (som fungerar halvbra om man ska vara snäll). Det jag tänker är att AI-funktionen skulle ha lättare att gissa sig till resultatet om den vet hur kameran rört sig ...

Angående IBIS/VR så behövs ännu mer information för att få till det tillsammans med gyrodata. Där skulle du behöva gyrodata och all data från objektiv och sensor för att räkna ut hur mycket stabiliseringen lyckades kompensera. Med den datan också så blir nog hela stabiliseringsalgoritmen otroligt processorkrävande (och förmodligen en väldigt komplicerad algoritm att ta fram) för att räkna ut hur mycket skakningar som blev kvar att kompensera för, det skulle dessutom helt säkert kräva nya objektiv som kan samla in den datan och skicka det till kameran.

Precis, och jag är inte säker på att det faktiskt skulle göra så stor nytta att veta hur sensorn skakat om sig själv (eller linserna i objektivet). Och som du säger krävs det nya objektiv som kan hantera detta.

Det här är förstås något som kan komma att komma i en framtid nära oss, men just nu går det nog inte. Vi får vara nöjda med att det ändå är så bra som det är - jag kan filma saker med min GoPro Max idag som inte hade varit möjligt för bara några år sedan.