Varför blir det olika storlekar i RAW, D80?

[Johannes-S]

Saxdalen skrev:
På D80 kan man välja om man vill ha med JPG eller inte när man fotar i RAW. Fördelen är att det finns många fler program som kan öppna och hantera JPG och att det går snabbare att titta på dom på kameran.

Nu har jag ingen D80 så jag kanske trampar i klaveret nu men pratar du inte om vanliga NEF+JPG nu? Alltså du får en NEF-fil och en JPG-fil? Den funktionen finns på alla Nikon DSLR.

Förutom den möjligheten ligger det alltid en JPEG inbäddad i NEF-filen. Det tror jag inte går att påverka.

Johannes

 

[Rasmus M]

j_s skrev:
Avråda från att knökfylla har jag aldrig hört talas om. Det som kan vara ett problem är att den siffra som visas på antal återstående bilder i regel är i underkant. Det bör däremot inte vara något problem att fylla kortet, när det är fullt så är det.

Har jag inte helt fel för mig arbetar de flesta kameror med "max filstorlek" när de beräknar antalet bilder som får plats på kortet. Oftast får man plats med mer än det som det visar från början tack vare att man inte alltid tar motiv med så pass mycket information att filen blir maximalt stor. Det är i alla fall så de digitalkameror jag har använt arbetar.

För att göra en avstickare igen...

 

[Saxdalen]

Johannes-S skrev:
Nu har jag ingen D80 så jag kanske trampar i klaveret nu men pratar du inte om vanliga NEF+JPG nu? Alltså du får en NEF-fil och en JPG-fil? Den funktionen finns på alla Nikon DSLR.

Förutom den möjligheten ligger det alltid en JPEG inbäddad i NEF-filen. Det tror jag inte går att påverka.

Johannes

Jag är inte 100% säker, men antar att det ligger en liten JPEGbild i NEF-formatet, men bara för farhandsgranskning kanske.

Jag pratar om att varje foto man tar sparas två gånger, en gång i råformat och en gång där kameran behandlat bilden och sparar den som JPEG.

Va va frågan??? (lite snurrig här).

 

[raderad12]

"AAAAAABBBBBBCCCCCC" kan lika gärna sägas "Ax6Bx6Cx6", det ena sättet kräver 18 tecken, det andra endast 9. Men om du har ABCDEFGHIJKLMNOPQR så kan inte det komprimeras alls med denna enkla "algoritm". Det första exemplet skulle kunna sägas vara en bild med 3 jämt färgade fält A, B och C, det andra exemplet istället en mer detaljerad bild med 18 olika färger i 18 olika fält. Därför tar en detaljerad bild större plats.

Så, ju mer detaljerad bild desto större komprimerad datamängd att spara. Råfiler är ungefär som zip-filer, alltså packade arkiv som innehåller en rad olika filer. Största mängden data utgörs av ljusvärden representerande rött, grönt och blått, men de innehåller också en mängd meta-data såsom exif-data och en massa tillverkar specifikt som är mer eller mindre hemligt. Skulle en råfil inte vara komprimerad, då skulle den vara uppåt 25 Mb stor redan för en 6Mp kamera, detta eftersom varje "lager" med ljusvärden för en viss färg innehåller värden från 6 miljoner pixlar.

 

[Jewster]

steelneck skrev:
"AAAAAABBBBBBCCCCCC" kan lika gärna sägas "Ax6Bx6Cx6", det ena sättet kräver 18 tecken, det andra endast 9. Men om du har ABCDEFGHIJKLMNOPQR så kan inte det komprimeras alls med denna enkla "algoritm". /.../ Därför tar en detaljerad bild större plats.

Mycket pedagogiskt förklarat.

Skulle en råfil inte vara komprimerad, då skulle den vara uppåt 25 Mb stor redan för en 6Mp kamera, detta eftersom varje "lager" med ljusvärden för en viss färg innehåller värden från 6 miljoner pixlar.

Det räkneexempel tror jag dock inte på.
Jag har en 8Mp kamera som alltid ger ifrån sig exakt 13,4MB stora okomprimerade raw-filer.

Är ingen hejjare på matte så nån kanske kan räkna ut och förklara hur storleksförhållandet sensor/okomprimerad filstorlek hänger ihop.

/jer.

 

[Saxdalen]

Det är väl så att en 6 Mp-kamera inte tar tre lager. Utan har 6 megapixlar. Man kan dela det på fyra. En röd, en blå och två gröna pixlar som sätts ihop till en pixel sedan när man gör det till JPEG. Det är väl en av anledningarna till att råformat är bättre, kameran har INTE satt ihop pixlarna utan det gör du sedan i datorn. Därför kan du mycket enklare ändra färgbalanser m.m.

 

[Tidy]

Enligt D70:s manual så är NEF-formatet 12-bitars. Då blir formeln för att att få ut storleken på datan från sensorn i MB: 3008*2000*12/8/1024/1024=8,6 MB. Nikon använder tydligen någon form av destruktiv komprimering på NEF-filen, som slänger bort en del av datan vilket gör att den blir mindre.

 

[Tidy]

Efter att ha läst på http://www.majid.info/mylos/weblog/2004/05/02-1.html så verkar det som att den använder både destruktiv och icke-destruktiv komprimering.

"The camera has a 12-bit analog to digital converter (ADC) that digitizes the analog signal coming out of the Sony ICX413AQ CCD sensor. In theory a 12-bit sensor should yield up to 212 = 4096 possible values, but the RAW conversion reduces these 4096 values into 683 by applying a quantization curve. These 683 values are then encoded using a variable number of bits (1 to 10) with a tree structure similar to the lossless Huffmann or Lempel-Ziv compression schemes used by programs like ZIP."

 

[Curium]

Jewster skrev:
Det räkneexempel tror jag dock inte på.
Jag har en 8Mp kamera som alltid ger ifrån sig exakt 13,4MB stora okomprimerade raw-filer.

Är ingen hejjare på matte så nån kanske kan räkna ut och förklara hur storleksförhållandet sensor/okomprimerad filstorlek hänger ihop.

/jer.

Min kamera på 7Mp ger alltid 8,8MB rawfiler i .CRW, blir dock 14,2MB när de görs om till DNG för att kunna användas.

 

[raderad12]

Tidy skrev:
Enligt D70:s manual så är NEF-formatet 12-bitars. Då blir formeln för att att få ut storleken på datan från sensorn i MB: 3008*2000*12/8/1024/1024=8,6 MB.

Näe. Redan en okomprimerad bitmap med bara 8-bitars färgdjup i storleken 3008x2000 blir över 17MB stor. En Råfil som innehåller än mer data än 8-bitar och dessutom oftast även har inbäddade jpeg filer blir givetvis inte mindre utan komprimering.

Okomprimerad rådata blir långt mycket större än så. Varje pixel i en sensor registrerar 4 ljusvärden, märk väl _värden_, vi talar inte om färg i detta läge. Till färg kommer man först vid konverteringen till bitmap, när dessa 4 "lager" av RGGB sätts ihop. Därför innehåller råfilen sas. 4 filer innehållandes 6 miljoner ljusvärden var. De kan närmast kan jämföras med gråskala. En 6Mp okomprimerad bitmap i gråskala blir 5,7MB stor, fyra sådana gör tillsammans 22,8MB om det inte komprimeras.

Sedan är det en helt annan sak att de använder kombinationer av förstörande och icke-förstörande komprimering och även bäddar in jpeg filer i varierande storlekar.

 

[maxzomborszki]

steelneck skrev:
Näe. Redan en okomprimerad bitmap med bara 8-bitars färgdjup i storleken 3008x2000 blir över 17MB stor. En Råfil som innehåller än mer data än 8-bitar och dessutom oftast även har inbäddade jpeg filer blir givetvis inte mindre utan komprimering.

Okomprimerad rådata blir långt mycket större än så. Varje pixel i en sensor registrerar 4 ljusvärden, märk väl _värden_, vi talar inte om färg i detta läge. Till färg kommer man först vid konverteringen till bitmap, när dessa 4 "lager" av RGGB sätts ihop. Därför innehåller råfilen sas. 4 filer innehållandes 6 miljoner ljusvärden var. De kan närmast kan jämföras med gråskala.

Nej, detta är felaktigt!

De sensorer som sitter i de allra flesta digitalkamerorna registrerar ETT ljusvärde per pixel och vilken färg de registrerar beror på mönstret på sensorn. Detta typ av sensor kallas även för Bayersensor och interpoleringen från detta mönster kan göras på lite olika sätt, det är därför som olika RAW-konverterare ger lite olika resultat.

Så okomprimerat rådata från till exempel en D70 innehåller INTE tre färg-/ljusvärden (eller fler) för varje pixel utan bara ett.

Magnus Tidlunds räkneexempel stämmer mycket bra. På en D200 där du kan välja okomprimerad NEF får du motsvarande 3872*2592*12/8/1024/1024 = 14,4 Mb. Lägg till den inbäddade JPEG-bilden samt metadata och man hamnar på de ca 15,8 Mb som NEFarna brukar bli.

Undantaget från detta är Foveon-sensorerna där du har tre lager i sensorn som registrerar en färg per lager.

[Edit: Det finns kameror som sparar bilderna som TIFF också, då har du det bitmapmönster du nämner.]

 

[maxzomborszki]

Hmmm... Jag hade förut en länk till en jättebra sida som visade hur rådatat "såg ut" om man läste ut det som gråvärden, med färg på respektive pixel och med enkel interpolering. Men nu har jag svårt att hitta den länken.

Däremot så har jag några länkar till Wikipedia (Bayer filter och Demosaicing) samt Photozones sida om sensorer som kanske räcker tills vidare.

 

[Tidy]

steelneck skrev:
Näe. Redan en okomprimerad bitmap med bara 8-bitars färgdjup i storleken 3008x2000 blir över 17MB stor. En Råfil som innehåller än mer data än 8-bitar och dessutom oftast även har inbäddade jpeg filer blir givetvis inte mindre utan komprimering.

Okomprimerad rådata blir långt mycket större än så. Varje pixel i en sensor registrerar 4 ljusvärden, märk väl _värden_, vi talar inte om färg i detta läge. Till färg kommer man först vid konverteringen till bitmap, när dessa 4 "lager" av RGGB sätts ihop. Därför innehåller råfilen sas. 4 filer innehållandes 6 miljoner ljusvärden var. De kan närmast kan jämföras med gråskala. En 6Mp okomprimerad bitmap i gråskala blir 5,7MB stor, fyra sådana gör tillsammans 22,8MB om det inte komprimeras.

Sedan är det en helt annan sak att de använder kombinationer av förstörande och icke-förstörande komprimering och även bäddar in jpeg filer i varierande storlekar.

Du har fel. Varje pixel har 12 bitars djup, därför blir formeln 3008*2000*12. Vet inte hur du kan få 8 bitars färgdjup att bli 17 MB?

 

[Jewster]

steelneck skrev:
Näe. Redan en okomprimerad bitmap med bara 8-bitars färgdjup i storleken 3008x2000 blir över 17MB stor.

Nej, detta lär vara felaktigt, precis som Max och Magnus påpekar.
Eftersom jag vet att jag har en sensor på 8Mp, och att som jag sagt ALLA mina rawfiler blir EXAKT 13,4Mb stora. Vilket ju med all tydlighet indikerar att mina filer är okomprimerade. Samt att det i den tekniska specifikationen till min E-500 framgår att sensorn på 3264x2448 ger ifrån sig okomprimerade raw-filer med 12 bitars djup i storleken 13,6Mb (i själva verket alltså 13,4Mb).
Så jag tror du får räkna om lite.
/jer.

 

[keckax]

steelneck skrev:
"AAAAAABBBBBBCCCCCC" kan lika gärna sägas "Ax6Bx6Cx6", det ena sättet kräver 18 tecken, det andra endast 9. Men om du har ABCDEFGHIJKLMNOPQR så kan inte det komprimeras alls med denna enkla "algoritm". Det första exemplet skulle kunna sägas vara en bild med 3 jämt färgade fält A, B och C, det andra exemplet istället en mer detaljerad bild med 18 olika färger i 18 olika fält. Därför tar en detaljerad bild större plats.

Så, ju mer detaljerad bild desto större komprimerad datamängd att spara. Råfiler är ungefär som zip-filer, alltså packade arkiv som innehåller en rad olika filer. Största mängden data utgörs av ljusvärden representerande rött, grönt och blått, men de innehåller också en mängd meta-data såsom exif-data och en massa tillverkar specifikt som är mer eller mindre hemligt. Skulle en råfil inte vara komprimerad, då skulle den vara uppåt 25 Mb stor redan för en 6Mp kamera, detta eftersom varje "lager" med ljusvärden för en viss färg innehåller värden från 6 miljoner pixlar.

Hm. På min D200 finns två raw -lägen. "komprimerad PÅ" och "komprimerad AV".

Du menar alltså att i icke- komprimerat läge blir filen komprimerad ändå?.

Jaha, man lär sej nåt nytt varje dag.

/K

 

[Tidy]

keckax skrev:
Hm. På min D200 finns två raw -lägen. "komprimerad PÅ" och "komprimerad AV".

Du menar alltså att i icke- komprimerat läge blir filen komprimerad ändå?.

Jaha, man lär sej nåt nytt varje dag.

/K

Frågan är vad som väljs bort, den destruktiva komprimeringen eller den icke-destruktiva. Eller båda kanske?

Edit: Jag skulle tro att det är den icke-destruktiva man kan stänga av.

Edit2: Från D200-manualen angående komprimerade NEF: "NEF images are compressed by about 40–50 % with little drop in quality. Recording time is reduced." Verkar som att all komprimering stängs av.

 

[maxzomborszki]

keckax skrev:
Du menar alltså att i icke- komprimerat läge blir filen komprimerad ändå?.

Resonemanget om RAW-filernas datamängd utgick från en felaktig premiss. En D200:as RAW-fil är okomprimerad när man valt läget "AV". Ok, JPEG-tumnageln som ligger inbäddad är en komprimerad datamängd inne i den RAW-filen, men själva RAW-datat är okomprimerat.

Tidy skrev:
Frågan är vad som väljs bort, den destruktiva komprimeringen eller den icke-destruktiva. Eller båda kanske? [...] Verkar som att all komprimering stängs av.

Det stämmer att både filerna varken är komprimerade eller genomgått reducering av nivåer (kvantisering).

Men... Skilj på själva komprimeringen (som i fallet med Nikons kamera-NEF är oförstörande) och kvantiseringen, som INTE skall ses som en komprimering. Det är en mappning som överför en datamängd på en annan, i detta fall en lite mindre.

Även om komprimering och en enkel mappning som denna kvantisering kan te sig på liknande sätt (tex att båda kan göra en datamängd mindre) så görs de med olika syften och mål. Mappningen i detta fall verkar vara för att "slänga" data som vi ändå är dåliga på att uppfatta. Kompressionen är för att minska datamängden som är kvar, dels för att spara utrymme men också (en anledning som många glömmer bort) att minska tiden det tar att skriva ned detta data till minneskortet. Skriva ned data på minneskort är inte sällan en flaskhals.

Hur kan man enkelt "se skillnad" på dessa två? Lite grovt tillyxat kan man säga att mappningens utdata är mer eller mindre "färdigt" medan en kompressionsalgoritms utdata behöver en avkodare/"dekompressor" för att datat ska gå att använda igen, det är själva idén med kompressionsmetoder.

Det kan tyckas att det är petigt men jag tycker rätt ska vara rätt. Det går tillräckligt mycket troll i det här med datakompression och så många myter florerar att jag tycker man kan göra det lilla extra för att inte sprida missförstånd vidare

[datalogivarning]
Datakompression är ett roligt litet område som man kan prata länge om. En av mina favoritmetoder som används lite här och var är Huffmankodning, som jag tycker en simpelt elegant. På den här sidan finns en liten applet som visar en kodning "in action": http://www.cs.sfu.ca/CC/365/li/squeeze/Huffman.html
[/datalogivarning]

 

[Tidy]

Ja, du har nog rätt där Max. Egentligen slänger den väl bort data för att den inte behövs, så egentligen är det ju ingen komprimering i ordets rätta betydelse. Det är ju antagligen så som du skriver att den gör en lossless-komprimering för att spara utrymme och för att tiden att skriva till minneskortet ska minska. Men komprimeringen i sig borde ju också ta tid, men det kanske sparas in på att skrivtiden till minneskortet blir kortare.

 

[maxzomborszki]

Absolut, visst tar kompressionen tid, fast den tidsåtgången "försvinner" i det närmaste i sammanhanget. Med specialiserad hårdvara snabbas denna typ av arbete upp något enormt.

Tänk bara på att du kan plåta JPEG med din kamera i full hastighet och du märker inte av att den gör en RAW-konvertering för varje bild. Ta NEF-filer och konvertera dem i datorn och helt plötsligt är tiden märkbar, även om du kör med standardinställningar rakt upp och ned (min dator klarar inte 5 bilder per sekund som kameran klarar...). Magin med specialiserad hårdvara :-D

 

[raderad12]

Tidy skrev:
Du har fel. Varje pixel har 12 bitars djup, därför blir formeln 3008*2000*12. Vet inte hur du kan få 8 bitars färgdjup att bli 17 MB?

Spara en 3008x2000 bitmap med 8-bits färgdjup okomprimerat så får du se, och jag köper inte att okomprimerad 12-bitars rådata skulle vara en mindre datamängd än 8-bitar bitmap.