Ögontracking

Att fånga en fågel i flykten är något som i alla tider har fängslat mänskan. Alltsedan antikens dagar har fågelfängaren varit en man som setts an och som besjungits i dikter och sagor. Om än mänskan idag själv kan flyga, lever ännu den gamla lockelsen. Inte minst i kamerans värld. BIF. Bird-in-flight. Att med kameran fånga en flygande fågel, med skärpan på ögat och mot en smäktande bakgrund - om du lyckas med det blir du räknad som stor.

Och för att nå sina mål måste mänskan ha verktyg. Och verktygen har aldrig varit bättre. Teknologin utvecklas i svindlande fart. Av sand gör mänskan förstånd. Kamerorna tänker! Nu behöver man bara lyfta kameran och sikta på en mänska eller en hund eller en katt. Eller en fågel? Och skärpan sitter som ett smäck på ögat. Men vem leder kampen? 

Det började med att Sony började tracka mänskoögon. Canon hakade på. Sony dubblade med hund och katt. Konkurrenterna svarade. Även Nikon hakade på. Men nu verkar det som om Canon har ryckt ifrån. Med R5:an är man den enda som klarar av att tracka fågelöga på ett trovärdigt sätt. Inte ens Sony klarar det. Trots att man har kommit med en värsting. Den nya A1:an som har allt. Vi pratar stackad sensor, dubbla processorer. Vi pratar trettio ramar i sekunden, utan böjda klubbor. Ändå: när Tony testade kameran fann han att den inte hängde med. Chris och Jordan rapporterade att kameran hade svårt att nypa ögat på stående fågel. Vad är det som händer? Och hur är det med Nikon? Håller Nikon på att tappa mark? Ingen pratar om Nikon längre. Det är bara Sony och Canon som gäller. Tracking var länge Nikons forte. I två årtionden ledde man utvecklingen med sin 3D-tracking. Men sen så kom den spegellösa tekniken. Och nu verkar det som man leker kätchapp. 

Det blir lätt att man raljerar kring ögontracking. En gimmick. Visst, kul att sikta på katten när man sitter hemma, men fotografi handlar ändå om att ta seriösa bilder. För mig är det dock ingen lyx. Läsare som följt bloggen vet att jag i grunden ser mig som skrattmåsfotograf. För några år sen såg jag mig som en av landets främsta på området. Brukade hänga runt Strömsbron efter jobbet. Fina fågelmarker där skrattmåsen lever i naturligt habitat. Att tracka fågelöga är därför något som jag skulle vilja ha. Skrattmåsfotografering är i grunden en krävande gren. Man har haft fullt sjå att få fågeln skarp. Inte många keepers. Om man sedan har flyt har man även tur med bakgrunden. Som att vinna på tipset två veckor i rad. Men om man kan sikta mot fågeln i skyn och kameran sätter skärpan på ögat så skulle det underlätta en hel del. Det är som med jaktplan. Tidigare var det nästan omöjligt att träffa ett plan. Se Top Gun. Nu räcker det med att man är i närheten och trycker på avtryckaren så letar roboten upp planet automatiskt. Att vara stridspilot i dagens värld är att anmäla sig till säker död. 

Exemplet med A1:an visar att det är på algoritmerna det hänger. Canon har i dagsläget den bästa programvaran. Men hur är det med Nikon? Hur bra är man på att tracka ögon? Jag bestämde mig för att sätta Zätan på prov. 

Första testet på människor. Inga problem. Med läget auto - människa letar kameran snabbt upp tillgängliga ögon. 

Även läget auto - djur funkar bra. Och här handlar det om hund och katt. Alla sorters katter och hundar, det spelar ingen roll. Labrador, schäfer, boxer, kinesisk dvärgpudel. Bondkatt, siamesisk katt, hankatt honkatt. Vad man än slänger åt kameran fastnar bilden med fokus på ögat. Ögat behöver inte ens synas. Som vi ser har katten solbrillor på sig. Kameran plockar ändå ögat. Sonys fanboys skryter med att den nya A1:an hittar ögat även när mänskor bär mask. Been there, done that. Nikon hittar kattögon bakom solbrillor! Det är på en helt annan nivå. 

Men nu sätter jag trackingen på tuffare prov. En pojke och en sköldpadda. Först auto - människa. Inga problem. Kameran hittar pojkens ansikte. 

Sedan slår jag över till auto - djur. Men nu har kameran ingen susning. Okej, en sköldpadda är ett tufft objekt. Det skulle lika gärna kunna vara en stenhäll. Och hur ska man hitta ögonen? De har sin hud med någon slags vårtor eller fjäll. Ögonen ser ut som dem. Kamouflage för att överleva. 

Jag testar nånting lättare. En elefant är ju inte världens mest diskreta djur. Omisskännlig. Barnens favorit, det är ofta första djuret de lär sig. Snabeln, betarna, öronen. Följ snabeln, vid fästet sitter ögonen. Icke. Kameran tror att det är en ladugårdsvägg. 

Jag testar lyckan i den svenska faunan. Skogens konung. Också ett omisskännligt djur. Kronan, mulen, stora fina ögon att fokusera på. Kamerans tolkning är mindre träd vid mossbelupen kulle. Är det kronan som förvirrar? Katter och hundar har inget sådant. Träd har dem. Och mulen? Ser inte ut som en nos. Håll ögonen på nosen! 

Någon menar: behövs tracking för älg? Borde man inte kunna fånga den utan den moderna teknikens hjälpmedel? Det må gälla för andra. För några år sen skulle jag ta jägarexamen. Jag klarade alla prover. Återstod skjutprovet. Det gällde att pricka en plåtälg. Det låter inte så märkvärdigt. Men jag lyckades inte pricka den j-a älgen! Så det blev inget jägarkort. Så för egen del skulle jag behöva älgtracking. Vill inte ta några chanser ifall man skulle stå öga mot öga med skogens konung. 

Varg. Det här är en form av screening. En kamera som inte klarar att tracka varg har inget i skogen att göra. Nema problema. Trackingen hittar ögat på vargen och släpper det inte ur siktet. Inte så konstigt. Canis lupus. Vargen är en hund. Kan man tracka schäfer kan man också tracka varg. Obs, nosen! 

Björn: inget problem. Ögat sitter som en smäck. Björnen är väl inte så lik en hund? Det lär finnas tibetanska hundar som liknar björnar. Se nosen! Nästan som en hundnos. Är det en nyckel? 

Lon är ett viktigt djur för svenska naturfotografer. Inga problem här heller. Lynx lynx. Lokatta, någon? Det var visserligen ganska givet att trackingen skulle klara jobbet, men ändå bra att få det bekräftat. Och viktigt! Tänk att du är ute i skogen. Plötsligt: ett lodjur står två meter ifrån dig! Du har inte tid att tänka. Du blinkar med ögonen, signalerar vänskap. Du tar upp kameran, försiktigt, försiktigt. Du vill inte missa det här knäppet. Du kanske bara får en chans. När du trycker av vill du att skärpan ska sitta på ögat. 

Men nu till the main event. Fåglar. Tänk att du är ute i skogen. Ett tjäderpar förbereder sig för älskog. Tyvärr blir budskapet negativt. Kameran har ingen susning om vad som är på gång. 

Dövheten för fåglar är systematisk. En amerikansk örn. Den mest ikoniska av alla fåglar. Icke. Man tror att ögat på en örn ska vara lätt att hitta. Det stora gula runda som bara skriker öga. Nästan som kattögon. Men vad är det där gula som är framför? Den stora fina gula näbben. Ett organ med karaktär. Örnens omisskännliga märke. Den går inte missa! Men ändå. 

Vilka är lärdomarna? Vad gäller ögontrackingen får man säga att Zätan blandar och ger. Den är bra på mänska, hund och katt. Varelser som älg och fågel finns dock inte med på repertoaren. Jag har hintat om det tidigare, men vill nu här föra fram min nosteori. Varför klarar Zätans ögontracking att fånga katter där ögonen är dolda men inte en örn? En förklaring är att trackingen går på nosen och inte på ögonen. Katt- och hundnos ser ut ungefär på samma sätt oavsett ras. När man identifierat nosen är det sedan en small sak att hitta två runda grejer lite grann ovanför. Det förklarar solbrillorna, det förklarar björnen. Men det förklarar också varför ögon som sitter ovanför näbb och mule inte vinner gehör. Nikons tracking arbetar för tillfället med paradigmet näsa-nos. Det funkar bra. Men man skulle behöva utöka det med paradigmet mule-näbb. 

Det är på mjukvaran det hänger. Kan man göra hund och katt kan man göra älg och orre. Och det gör man genom att utöka det konstlade förståndet med paradigmet mule-näbb. Här finns det finns dock några aber. Konstlat förstånd handlar om att samla bilder på objekt som data från sensorn kan jämföras med. Mänskor, hundar och katter har relativt homogena näsorgan. Det gör att trackingen kan plocka en pekinghund likväl som en grand danois. Nosen ser ungefär likadan ut. Samma är det med mänskor och katter. För fåglar blir det annorlunda. Det är givet att Nikons ingenjörer kommer mata trackingen med bilder på amerikansk örn. Och eftersom örnens näbb liknar kycklingens kommer man också kunna plåta kyckling när det är gjort. Till skillnad från hund och katt är dock näbbar väldigt olika varandra. Alltifrån flamingons smäckra snok till hökens vässade nagel. Hur är det med de japanska ingenjörernas ornitologiska kunskaper? Det blir ett hästjobb att lägga upp bilder på alla arter. Speciellt är jag lite rädd för skrattmåsen. Kommer den med? Finns skrattmåsar i Japan? Kanske man kan skicka några bilder till Tokyo och be dem plocka med dem, för att säkra upp. 

Det är därför som jag skulle vilja slå ett slag för lite ny industripraxis. Mjukvaran håller på att bli så komplex att den inte bara borde överlåtas på några ingenjörer i Tokyo. Ingen kan hålla reda på alla djurarter. En fundering jag har är att trackingen kan bli programmerbar. Mjukvaran blir som presets. Man skulle då kunna ladda ned specialare. Nordic bird-paketet innehåller alla de fåglar som man kan finna i den nordiska faunan, som orre tjäder, örn, skrattmås och ripa. När man åker till Sydamerikas djungler kan man ladda med South America-paketet med exempelvis kolibri och tukano. Innovationen känns som en tidsfråga. När kommer den? 

Uppdatering: 

Sedan inlägget skrevs har en hel del hänt. Ingenjörerna lyssnade på kritiken! 

2021-05-05 18:13   pdahlen

Intressant läsning. Jag har aktiverat Nikon support i något så elementärt som en punkt AF, tycker det vore bra att få det att fungera innan man går på mer avancerat. Min Z6II har problem att sätta fokus på små objekt om man kommer med fokus från bakgrund till något som är närmare

Besvara

Svar från Iwa 2021-05-05 19:57

Hej Peter, har själv inte haft det problemet. Har dock inte testat så noga.
/per

Svara

2021-05-05 20:07   Anders F. Eriksson

Ögonfokus är nog inte tänkt för att fotografera av bildskärmar (jag misstänker att det beter sig annorlunda på riktiga motiv).

Besvara

Svar från Iwa 2021-05-05 20:59

Ändå förvånande att det funkar så pass bra.
/per

Svara

2021-05-05 23:09   Sten-Åke Sändh

Intressant. Det där är konstigt med missen på örnen. Det ögat ser ju nästan likadant ut som lodjurets.

Jag var inte särskilt imponerad när jag fick Animal AF i min A7III men det har ju blivit lite bättre sedan dess i de nya modellerna men inte är det lika bra som Canons inte.

Jag tror inte heller det bara har med algoritmerna att göra. Sony har haft ett antal år på sig att förfina dessa som Canon inte haft men däremot tror jag att det faktiskt har viss betydelse att Canons R5:s AF har 5940 fokuspunkter mot Sony A1:s knappt 800 och det ger faktiskt hela 8 ggr fler punkter på en given yta för R5 än A1 har. Canon har mycket bättre fokuspunktsteckning och genom detta mycket mer data att arbeta med och ska man leta efter små fågelögon borde det vara en klar fördel. Jag skulle inte bli förvånad om Sonys kommande stackade sensorer får ett rejält lyft av antalet fokuspunkter på sensorytan - ett mindre fokuspunktskrig kanske om man så vill, för här är Sony definitivt två by design idag?

Besvara

Svar från Iwa 2021-05-06 08:43

Även kameror som jobbar med kontrastverkande fokus som Panasonic har ju tracking. Så jag undrar om antalet fokuspunkter har någon stor betydelse för trackingen.
/per

Svara

Anders F. Eriksson 2021-05-06 20:39

Jag tror inte antalet fokuspunkter spelar någon roll för själva detekteringen, men däremot har det förstås betydelse om det finns fokuspunkter just där ögat är för exakt fokusering. Själva ögonigenkänningen görs ju inte av fokuspunkterna utan av en analys av hela bilden, och där lär processorprestanda (och algoritmer) vara avgörande för hur bra det fungerar.

Svara

Sten-Åke Sändh 2021-05-06 23:38

Jo det är klart att de gör. Om de inte gjorde det så kunde det väl räckt med typ 50 eller 70 stycken då som i en gammal DSLR. Nikon försökte väl lotsas som att de stödde ögonfokus i någon DSLR men Sony gjorde just ett nummer då det begav sig att det var först med deras då 400 AF-punkter som följande Eye Focus blev riktigt användbart. Enligt Sony hade de dedikerade fokussensorerna för dålig upplösning för att det skulle fungera bra i en DSLR.

Spelar det då ingen roll om man har 50 AF-punkter eller nära 6000 (5940)? Det är klart att en väldigt mycket högre AF-punktsupplösning ger helt andra möjligheter än väldigt många färre. Säg att ytan av ett fågelöga skulle hamna över 3 sådana fokuspunkter i en lågupplöst AF-grid med 50 punkter spridda över hela sensorytan. Då skulle man i det andra fallet istället fått hela 3x119 punkter vilket ger 357 punkter totalt. Varför skulle en sådan signifikant skillnad inte påverka möjligheten starkt att identifiera ett fågelöga på långt håll. Är det verkligen ens något att diskutera?? Sony har ju själva sagt att betydligt fler AF-punkter i deras spegellösa varit viktigt för att få en bra följande Eye Focus exv.

I mitt exempel med 5950 punkter mot 50 för att spetsa till det ännu mer tydligt, så ger det nästan 119 ggr fler punkter. Var denna brytpunkt ligger för att man ska uppleva signifikanta skillnader kan man säkert diskutera och det handlar givetvis om tolkningen av data och de algoritmer som gör det men det råder inget tvivel om att väsentligt mer data kommer ge väsentligt bättre möjligheter att förutsatt att man har datakraften att bearbeta detta data och det har man idag.

Det är nog få idag som ifrågasätter vitsen med 60 megapixel eller 100 megapixelsensorer om man är intresserad att kunna få ut extrem detalj ur sina bilder. De som är verkligt intresserade av ett AF-systems upplösning för exv. fågelfoto inser säkert också att det är en stor fördel med ett system som har så hög upplösning som möjligt förutsatt att man har databearbetningskraft som kan hantera detta i exv. AF-spårning. Canon har 8 ggr högre AF-upplösning idag och jag är rätt säker på att detta faktum idag sysselsätter Sonys konstruktörer en hel del, för det pågår som bekant ett AF-race och där är AF-upplösningen en av grundparametrarna och där är Sony definitivt INTE ledande idag och det bekymrar dem säkert.

Svara

Sten-Åke Sändh 2021-05-07 00:13

Tro kan man ju alltid göra men det här är ju ren matematik när vi pratar dataunderlaget.

Just i A1 har ju Sony dubblat antalet fokuspunkter i jämförelse med alla sina tidigare modeller vad jag vet och min A7 III har väl knappt 400. En annan sak de också gjort är att fördubbla uppdateringsfrekvensen i mätningarna av exponering och AF. Varför göra sånt om det inte spelat någon som helst roll hur många fokuspunkter man har för exv. fågel Eye Focus???

Du låter nästan som en lätt förblindad Sony-fanatiker när jag påpekar att R5 faktiskt har 8 ggr fler AF-punkter än A1 trots att Sony just ansträngt sig att fördubblat dem och att detta faktiskt ger det 8 ggr mer data att använda i sin detaljtolkning. 8 ggr fler punkter Anders trots att Sony just fördubblat sina :-). Jag är rätt säker på att denna dubbling av fokuspunkterna i A1 är just ett resultat av att de upptäckt att 400 inte givit ett tillräckligt bra dataunderlag för att identifiera djurögon på exv. fåglar på längre avstånd. Sanningen är ju att djurögon-AF inte funkat särskilt bra i de modeller som bara har 400 punkter.

Jag tycker det här är jättebra för det här gör att Sony äntligen fått verkligt hård konkurrens på spegellösa FF-marknaden som de fått ha som sin egen skyddade verkstad alldeles för länge för att det ska vara riktigt sunt. Heja Canon säger jag bara. Högre AF-upplösning åt folket!

Svara

Anders F. Eriksson 2021-05-07 03:05

Du har uppenbarligen inte förstått min text ...

Svara