Är DXO ett skämt eller vad.....

[Bengf]

Har alldrig haft någon övertro på DX0 Mark, mycke tidigt när saiten dök upp, var vi flera som undrade över deras tänk, och debatten var ganska livlig. Mikael sammanställer ganska smidigt vad vi kom fram till, i sista inlägget. Det är svårt att skriva så många förstår vad man menar, jag skriver som vetgirig enkel amatör.

Jag kan alldrig någonsin mäta mig med dom på trådarna som under nästan en livstid har hanterat stora ock tunga kamerasystem, deras möjlighet att testa optik och gud vet allt, tillgång till dyrbara skrivare. Och möjligheten att kunna träffa och utbyta erfarenheter med likasinnade, mycket roligt att här på trådarna få höra ur flera har kontakt med utlänska duktiga fotoprofiler, erfarna gubbs som testar all möjligt.

För första gången fick jag genom DX0 på ett smidigt sätt se hur det låg till med riktig iso, isotal man ställer in och vad verklig iso var, som ett exempel. När jag ställde in iso 400 på min gamla KM5D så var verklig iso enlig DX0 iso 654 ovanligt att det vart åt andra hållet så att säga, när jag tittade på 40D så var inställt iso400 i verkligheten iso294. alltså iso 400 på KM5D (654) är högre än iso800 på 40D (561) ingen svensk fototidning har pratat om detta heller. Nu i för sig är det ju lika mellan alla märken så ordningen är väl återställd på den punkten.

Så klart det blir känsligt och frukansvärt svårt för många att inse att en instegare kan ta ruskigt bra bilder idag, för dom vänder sig till en kundkrets som inte vet ett skvatt om profolket ( jag några vet) och deras stora erfarenheter, hur kan grannpojken med den där plastbiten ta så fina bilder, min kamera är ju 10ggr så dyr, nja jag kommer nog att titta in på DX0 även framöver.

 

[Bengf]

eller tvärtom, någon som har testat?

Om dom vågar vill säga, men den förlorar väl vid iso 52000 och 200% så den får vi nog kasta i papperskorgen.

 

[Mankan G]

eller tvärtom, någon som har testat?

DXO kanske

 

[Fogel70]

eller tvärtom, någon som har testat?

Många tidningar som jämfört båda anser 7D har bättre bildkvalitet iom att den bland annat har bättre detaljåtergivning. Dock tror jag de flesta tidningar jämför jpg direkt ur kameran, men det är väl också vad de flesta använder hos K-x.

Tex skrev K&B så här om bildkvaliten hos K-x.
"Likvärdig bildkvalitet med Nikon D5000 och D90. Ett snäpp under Canon Eos 7D. Bättre än Pentax K-7."

Vilka egenskaper hos bildkvalitén som är viktigast får var och en själv avgöra, men iom att dxomark bara jämför några få av dessa egenskaper är användningsområdet av deras databas ganska begränsat.

 

[Bengf]

Många tidningar som jämfört båda anser 7D har bättre bildkvalitet iom att den bland annat har bättre detaljåtergivning. Dock tror jag de flesta tidningar jämför jpg direkt ur kameran, men det är väl också vad de flesta använder hos K-x.

Tex skrev K&B så här om bildkvaliten hos K-x.
"Likvärdig bildkvalitet med Nikon D5000 och D90. Ett snäpp under Canon Eos 7D. Bättre än Pentax K-7."

Vilka egenskaper hos bildkvalitén som är viktigast får var och en själv avgöra, men iom att dxomark bara jämför några få av dessa egenskaper är användningsområdet av deras databas ganska begränsat.

Fröderberg är en mycket stor Canonvän, vilket i och för sig inte betyder att han kan ha rätt, Nikonmodellerna du nämner har fått mycke beröm för sin bildkvalitet, frågan är hur stort detta snäpp är, och vid vilket isotal dom använt, 18Mp:arn gräver fram en del detaljer även vid högre iso tydlingen.

 

[Mankan G]

Så som jag har läst testerna med mina Nikonögon så är skillnaden minimal om än märkbar/mätbar på basiso - låga iso. I mycket stora förstoringar på skärm eller i utskrifter större än A3 och OM motivet är mycket detaljerat så syns det oxå.....lite. På skärm i 100-200% märks skillnaderna tydligast i ytstrukturer som syns bättre med 7D. Inte så mycket i detaljer där de verkar mer lika. Konstigt nog är det inte heller alla ytor som blir synbart bättre. I vissa strukturer verkar det vara helt jämt medan andra är väldigt olika.

På mycket höga iso så verkar Canon ha lyckats bättre med att bibehålla detaljerna. Nikons 12MPP-kameror smetar ut dem lite mer än vad 7D gör.

 

[keckax]

Så som jag har läst testerna med mina Nikonögon så är skillnaden minimal om än märkbar/mätbar på basiso - låga iso. I mycket stora förstoringar på skärm eller i utskrifter större än A3 och OM motivet är mycket detaljerat så syns det oxå.....lite. På skärm i 100-200% märks skillnaderna tydligast i ytstrukturer som syns bättre med 7D. Inte så mycket i detaljer där de verkar mer lika. Konstigt nog är det inte heller alla ytor som blir synbart bättre. I vissa strukturer verkar det vara helt jämt medan andra är väldigt olika.

På mycket höga iso så verkar Canon ha lyckats bättre med att bibehålla detaljerna. Nikons 12MPP-kameror smetar ut dem lite mer än vad 7D gör.

När du säger "smetar" tänker jag på jpg, men du menar väl raw ur kameran antar jag?
Smetningen du nämner är väl i så fall ett resultat av Nikons lägre upplösning, alltså att bilderna på detaljnivå ser något mjukare ut än från 7D.

/K

 

[bengt-re]

Asch, vad är det att diskutera egentligen? Är ju bara konstatera att Canon 7D är en JÄTTEDÅLIG kamera. Det går helt enkelt inte att ta några bra bilder med den. Ni som har köpt den är lurade, och vi alla som har bra kameror kommer peka o skratta åt er.

Jamen kan ingen då ge mig hans 7D om den är så kass - jag kan erbjuda mig att lämna den till återvinningen

 

[pet]

Många tidningar som jämfört båda anser 7D har bättre bildkvalitet iom att den bland annat har bättre detaljåtergivning. Dock tror jag de flesta tidningar jämför jpg direkt ur kameran, men det är väl också vad de flesta använder hos K-x.

Tex skrev K&B så här om bildkvaliten hos K-x.
"Likvärdig bildkvalitet med Nikon D5000 och D90. Ett snäpp under Canon Eos 7D. Bättre än Pentax K-7."

Vilka egenskaper hos bildkvalitén som är viktigast får var och en själv avgöra, men iom att dxomark bara jämför några få av dessa egenskaper är användningsområdet av deras databas ganska begränsat.

Och såhär skriver Dpreview ang JPEG från K-x:

Saxat från:Conclusion - Pros
*Good detail and color in JPEGs at base ISO
*Class-leading image quality in low light, very good retention of fine detail at high ISOs

Saxat från:Overall conclusion
In most shooting situations the K-x is capable of producing high quality image output. At base ISO JPEG images show very good detail and natural colors out of the box. The Pentax JPEG engine is doing a very good job at squeezing all captured detail into the camera's JPEG files and therefore shooting RAW does not produce a great amount of extra detail.

While the image quality at base ISO is generally very good, what we were really surprised about (in a good way) is the K-x's performance in low light. Up to very high sensitivities the Pentax output shows a very good balance between noise reduction and the retention of fine detail in JPEGs (raw output is similar to other cameras in its class). The K-x approach: leaning heavily on chroma noise with more lenient handling of luminance noise results in images with grainy, almost film-like noise characteristics, that show very good detail up to the very highest sensitivities. The K-x is surprisingly a lot better better in low light than its bigger brother K-7, and is no doubt one of the currently best performing APS-C cameras in low light.

 

[Sten-Åke Sändh]

Många tidningar som jämfört båda anser 7D har bättre bildkvalitet iom att den bland annat har bättre detaljåtergivning. Dock tror jag de flesta tidningar jämför jpg direkt ur kameran, men det är väl också vad de flesta använder hos K-x.

Tex skrev K&B så här om bildkvaliten hos K-x.
"Likvärdig bildkvalitet med Nikon D5000 och D90. Ett snäpp under Canon Eos 7D. Bättre än Pentax K-7."

Vilka egenskaper hos bildkvalitén som är viktigast får var och en själv avgöra, men iom att dxomark bara jämför några få av dessa egenskaper är användningsområdet av deras databas ganska begränsat.

Om DxO är ett skämt så undrar man ju hur en del kan tillmäta några andra testare, "auktoriteter" och "gurus" inom området någon som helst respekt. Vilka metoder använder dessa? Hur gör man sina jämförelser? Hur upprätthåller man standardiserade, enhetliga, upprepbara och normaliserade testförhållanden test efter test? Visa mig några andra testare som på samma sätt som DxO tar ett enhetligt grepp på ämnet och konsekvent arbetar med normaliserat data så att de kan göra jämförelser över de parametrar man säger sig mäta. DxO redovisar vidare sina resultat utan massa subjektivt bladder. Hur drar man och presenterar rättvisa slutsatser när man går utanför de rena mätvärdena? Vem fixar det? Jag tycker snarare att det är just i detta moment det ofta blir riktigt besvärligt när testaren ska knyta ihop säcken och prestera sin vinnare tillsammans med någon ofta krystad slutsats.

DxO beskriver ganska väl sin ansats i sina tester, vilket ni kan se nedan i det klipp jag gjort från DxO:s sida. Det enda verkligt iögonfallande jag har emot DxO är deras strävan att kora segrare som alla andra. Genom det gör man en kompromiss i sin sammanställning som inte sällan är direkt vilseledande. I sammanställningen belönas man i väldigt hög grad om man har toppvärden på ISO 100 eller låga ISO och det i en värld som är fullständigt besatt hur det ser ut i andra änden på skalan. Till deras försvar kan sägas att de hänvisar till det de skrivit nedan och uppmanar alla att rannsaka sig och se vilken typ av fotograf man är innan man väljer kamera. Det finns tre huvudtyper och många kombinationer av profiler. De parametrar man valt ut att mäta möter de olika typer av behov dessa olika typer av fotografer kan tänkas ha. Min uppmaning till de som retar sig på DxO:s sammanställning är att helt spola de sammanvägda resultaten och istället studera kurvorna. Det är långt svårare men ger en långt mer rättvisande och rikare bild.

Vilken kombination av prestanda man prioriterar bör hänga ganska väl ihop med den fotograf man är när man väljer bland de kameror som blir kandidater för test och köp. Allt är som bekant inte brus, färgdjup och DR. Man ska ju trivas med kameran och den ska ha rätt pris för rätt individ också..

Enligt min mening åker DxO cirklar runt allt annat på marknaden idag. Ingen skulle dock bli gladare än jag om de äntligen kunde få någon konkurrens.

Citat från DxO:
3. DxOMark Sensor scale is based on three photographic usages—Studio, Landscape, and Action photography. The three scenarios are equally weighted in the DxOMark Sensor scale results. If photographers are more inclined towards a specific scenario, they should look at the individual metric that best meets their needs—i.e., Studio photographers should primarily consider Color Depth and Dynamic range, Landscape photographers should primarily consider Dynamic Range and Color Depth, and Action photographers/Photojournalists should pay most attention to Low-Light ISO and Dynamic Range.

4. DxOMark Sensor scale is logarithmic and a 5-point difference on the scale corresponds to a gain or loss of sensitivity of 1/3 of a stop. We nevertheless report DxOMark Sensor Scale test results to one decimal place to avoid the clustering of data that would occur with any arbitrary algebraic rounding.

5. DxOMark Sensor scale is normalized for a defined printing scenario—8Mpix printed on 8”x12” (20cmx30cm) at 300dpi resolution. Any other normalization, even with higher resolution, would lead to the same ranking, given that any camera which could not deliver the chosen resolution would be eliminated from the comparison.

6. DxOMark scale is open and it is not a percentage. It has been computed so that the current set of cameras from low-end DSCs up to professional DSLRs and medium-format cameras show results within a range from 0 to 100. However, new technologies may well lead to higher performance models.

Second, here are three steps to better use DxOMark Sensor scale:

1. Identify your preferred scenario(s): General, Studio, Landscape, and/or Action.
2. Choose the resolution you need for your photography usage.
3. If you shoot in RAW, DxOMark Sensor will help you rank the best cameras according to the resolution and usage scenario that you have chosen.

 

[Mankan G]

Smetningen du nämner är väl i så fall ett resultat av Nikons lägre upplösning, alltså att bilderna på detaljnivå ser något mjukare ut än från 7D.

/K

Inte alls. I så fall skulle bilder på lägre iso också vara mer "smetade". Skillnaden i upplösning mellan 7D och D300 är ytterst liten på basiso medan skillnaden blir större högre upp i isoskalan.... Speciellt på riktigt höga iso, typ 3200-6400 märks det tydligt. Observera att det fortfarande kanppast är märkbart i den verkliga världen. På skärm i 100-200% är det dock tydligt....

Det handlar om brusreducering och inget annat. Även råfiler brusreduceras............Nu menar jag att skillnaden ökar från att vara marginell på basiso till att bli större högre upp. Hade det bara berott på att D300 har lägre upplösning hade ju skillnaden varit konsekvent....

 

[Fogel70]

Om DxO är ett skämt så undrar man ju hur en del kan tillmäta några andra testare, "auktoriteter" och "gurus" inom området någon som helst respekt. Vilka metoder använder dessa? Hur gör man sina jämförelser? Hur upprätthåller man standardiserade, enhetliga, upprepbara och normaliserade testförhållanden test efter test? Visa mig några andra testare som på samma sätt som DxO tar ett enhetligt grepp på ämnet och konsekvent arbetar med normaliserat data så att de kan göra jämförelser över de parametrar man säger sig mäta. DxO redovisar vidare sina resultat utan massa subjektivt bladder. Hur drar man och presenterar rättvisa slutsatser när man går utanför de rena mätvärdena? Vem fixar det? Jag tycker snarare att det är just i detta moment det ofta blir riktigt besvärligt när testaren ska knyta ihop säcken och prestera sin vinnare tillsammans med någon ofta krystad slutsats.

Jag har inte hävdat att dxomark är ett skämt jag hävdar bara att dxomarks användningsområdet är ganska begränsat för de flesta.

Många tycks tro att kamera x som får en högre poäng hos dxomark alltid ger bättre bildkvalitet än kamera Y med lägre betyg, även om de bara tänkt använda jpg.
Dessutom är det inte säkert att bilderna från kamera x blir bättre än kamera y när man använder RAW eftersom det även beror på hur väl RAW-konverteraren är optimerad för de olika kamerorna.

 

[Sten-Åke Sändh]

Jag har inte hävdat att dxomark är ett skämt jag hävdar bara att dxomarks användningsområdet är ganska begränsat för de flesta.

Många tycks tro att kamera x som får en högre poäng hos dxomark alltid ger bättre bildkvalitet än kamera Y med lägre betyg, även om de bara tänkt använda jpg.
Dessutom är det inte säkert att bilderna från kamera x blir bättre än kamera y när man använder RAW eftersom det även beror på hur väl RAW-konverteraren är optimerad för de olika kamerorna.

Högre värden ger bättre FÖRUTSÄTTNINGAR på hyfsat objektiva grunder till skillnad från tidningsjournalisternas subjektiva mumbo. Om man sedan utnyttjar det till fullo eller inte är väl upp till var och en. Det har dock inget med DxO att göra. Det valet är lika subjektivt som de flesta tidningstestares slutsatser. Varför inte utgå från de bästa förutsättningar du kan få till det pris du är beredd att betala. Det är ju bara det DxO ger en möjlighet till utifrån de parametrar man mäter. Det är en väldigt mycket bättre utgångspunkt än förmodligen alla övriga kan erbjuda idag.

 

[Fogel70]

Problemet är bara att dxomark mäter bara en liten bit in i kedjan som skapar bilderna. Det som händer efter det dxomark gjort sina mätningar påverkar säkerligen lika mycket som de små skillnader som det är i dxomarks mätningar mellan flertalet av kameror. Det är inte säker att man själv kan påverka vad som händer senare i kedjan utan där är man också beroende av kameratillverkaren eller någon tredjepartstillverkare av mjukvara.

Visst kan det vara trevligt att få ett värde på vad sensorn i kameran har för grundförutsättningar, men att översätta det till ett mått för bildkvalitet som många gör är inte riktigt korrekt.

 

[Grevture]

Högre värden ger bättre FÖRUTSÄTTNINGAR på hyfsat objektiva grunder till skillnad från tidningsjournalisternas subjektiva mumbo. Om man sedan utnyttjar det till fullo eller inte är väl upp till var och en. Det har dock inget med DxO att göra. Det valet är lika subjektivt som de flesta tidningstestares slutsatser. Varför inte utgå från de bästa förutsättningar du kan få till det pris du är beredd att betala. Det är ju bara det DxO ger en möjlighet till utifrån de parametrar man mäter. Det är en väldigt mycket bättre utgångspunkt än förmodligen alla övriga kan erbjuda idag.

Sten-Åke,

Jag håller delvis med dig, just det du säger med "Högre värden ger bättre FÖRUTSÄTTNINGAR" är det många missar när det läser alla former av mätningar (DXO, MTF-diagram osv). Ett bättre mätvärde ger bättre förutsättningar till bättre bildkvalitet - att sedan verkligen få till bättre bilder, hjälpt eller stjälpt av förutsättningarna, är fortfarande mest upp till fotografen.

En för många känd debattör på Dpreview, John Sheeny, uttryckte det mycket bra i en diskussion kring för- och nackdelar med många megapixel ("MP") när han skrev: "MP imply a potential, not a gurantee"

Samma gäller mätvärden hos DXO.

Sedan har vi det här med subjektiva slutsatser i tester ...

Det du och många andra tycks missa att för oss (jo, jag är en av dessa föraktade tidningstestare som skriver i tidningar så ingår det faktiskt i jobbet just att dra slutsatser. Slutsatser som alltid kommer att vara subjektiva. Några objektiva slutsatser existerar inte (ett vanligt missförstånd, det finns faktiskt inga objektiva åsikter och slutsatser är alltid åsikter). Det enda som är objektivt är mätresultat och rena faktauppgifter.

Jag har arbetat med industriell systemtestning i flera år och sedan i ännu fler år med testning av konsumentprodukter. Som ingenjör är jag helt klar över vikten av noggrannhet, repterbarhet, precision och jämförbara urval när man testar. Men att enbart redogöra för mätfakta i tester av konsumentprodukter är ofta ganska meningslöst - en mycket stor del av läsarna kan (och vill) inte tolka resultaten. Tro mig, vi har provat det här med mer "objektiva" tester och det blev ett ramaskri bland läsarna. De ville ha slutsatser, bedömningar och att någon pekar med hela handen "pryl A är bättre än pryl B"

Sedan skall slutsatser och bedömningar givetvis vara välgrundade (på mätningar och på observationer) och inte rena gissningar.

Det jag tycker oftast saknas i tidningstester är att man otydlig med vilka bedömningsgrunder som använts (vem riktar sig testet till), ofta slarvas det med att berätta hur testet gått till och ofta redovisas bara delmängder av mätdata. Jag har själv skrivit tester som lidit av de här svagheterna, och orsakerna till att det blir så är nog likartade även för andra i samma bransch: det ges inte tid att göra de här sakerna noga och det ges inte utrymme för att publicera sådant i tidningarna. Ekonomin styr som så ofta.

Ett grundproblem är att när man skriver om ett test i en tidning så måste det testet ha en tydlig målgrupp - vem man testar för påverkar slutsatserna rejält. Det innebär att den som inte tillhör målgruppen ofta tycker att testresultatet är underligt och idiotförklarar testaren.

Ett annat stort grundproblem är vissa journalistiska fenomen som jag (som ingenjör) har svårt att förlika mig med: Det skall alltid utses en "vinnare". Det skall alltid sättas ett (skenbart) exakt sifferbetyg. Att sedan olika kameror är olika bra för olika människor i olika sammanhang är tyvärr en på tok för komplex verklighet för att den skall passa in i en sann journalistisk världsbild.

Sedan finns det förstås en del riktigt genuint dåliga tester, det kan jag hålla med om. Min favorit på det området är det här gamla guldkornet från Expressen (en känd källa för trovärdiga fakta
http://extra.expressen.se/pdf/kameratest.pdf

 

[mayro]

Martin Agfors.

Jag måste säga att en sak som jag gillar med dig är ATT du deltar i resonemang .. Därför att genom sådana resonemang kan åsikter sägas.. Och därmed kan du "ta in" info utifrån .. Samt förhoppningsvis utveckla bättre tester mer mer nyanser undan för undan...

Så all heder till ditt deltagande i diskussioner Martin

Mvh
Tobbe..

 

[The_SuedeII]

"Sensor Mark" är DxO's största misstag. Och den egentligen enda genomgående faktamässiga felaktigheten på sajten. Men som Martin antyder (och jag tolkar...) är siffran i sig självt en eftergift åt den "dumme genomsnittskunden" som vill ha en slutsiffra/en vinnare i allt. Siffran är framtagen efter ett genomsnitt av kundernas förväntningar - vilket innebär att den "stämmer" för ett par enstaka procent av kunderna; de som prioriterar prestandaavvägningarna exakt så som SensorMark är avvägt. För alla andra kommer siffran vara felvisande.

Vad som händer efter det som DxO mäter (prestanda i råfiler) är dom ju helt fria från - vilket dom också nogsamt påtalar. Om en kamera brusreducerar sina jpg på högre ISO så att bilderna ser värre ut än akvareller som stått ute i regnet en stund - så finns det ju ändå kunder som uppfattar detta som att "kameran är brusfri och bilderna är alltså jättefina". De kommer tycka DxO har jättefel i många fall.

De som inte väger upplösning mot hög-ISO-prestanda på samma sätt som DxO gör kommer inte heller de att kunna hålla med om "slutsatserna". De som inte förstått skillnaden på DR och brus i djupa skuggor har heller inte mycket att hämta i mätningarna.


Men jag vidhåller som väldigt många gånger tidigare:
Jag har både möjlighet/kompetens och utrustning/mjukvara till att mäta samma saker som DxO gör (allt utom ISO-kalibreringen). Jag har duplicerat deras tester i ganska många sammanhang, med ganska många kameror. Mitt huvudmål är inte riktigt samma som deras, jag jobbar med färgresponser och interpoleringsalgoritmer (som iofs är väldigt brusberoende) - de arbetar enbart med att mäta brus/färgrespons. Men på vägen mot målet mäter vi i mångt och mycket samma saker i råfilerna - och det är mycket sällan (tre gånger sammanlagt) som jag hittat avvikelser mellan deras och mina mätningar som är större än vad en normal mättolerans eller olika kamerahus av samma modell skulle kunna förklara.

 

[Sten-Åke Sändh]

Jag har inte hävdat att dxomark är ett skämt jag hävdar bara att dxomark:s användningsområdet är ganska begränsat för de flesta.

Många tycks tro att kamera x som får en högre poäng hos dxomark alltid ger bättre bildkvalitet än kamera Y med lägre betyg, även om de bara tänkt använda jpg.
Dessutom är det inte säkert att bilderna från kamera x blir bättre än kamera y när man använder RAW eftersom det även beror på hur väl RAW-konverteraren är optimerad för de olika kamerorna.

Just för de som fotar just i RAW är DxO det lysande undantaget. Nästan alla andra testar i JPEG. Just därför kan den användas som en god och normaliserad indikation på vilka FÖRUTSÄTTNINGAR respektive kamerahus ger när det gäller just de viktigaste bildkvalitetsparametrar folk är intresserade av. De som hävdar att dessa parametrar är irrelevanta för "vanligt folk" kan väl vara bussiga då att räkna upp de parametrar som är viktigare och som DxO förbisett. Vi vet att effekten av antalet pixlar i stort ignoreras av DxO även om de påverkar i DxO:s normaliserade "Print"-läge men annars får man ta reda på det genom okulär testning i 100% antar jag.

Annars vet inte jag vad det stora hålet är. Jag vet att en del mätt även "grain" i JPEG tester jag läst och det är väl ett mått på bildens "korn" hur konstigt det kanske än kan låta i dessa digitala dagar när allt intill perfektion håller på att utrota "kornet" till förmån för utslätad plastighet. Söker man det perfekta är den utslätade plastigheten normen men det finns säkert de som tycker t.o.m. det förkättrade bruset ger bilder ett mått av liv de annars saknar - åtminstone i vissa sammanhang. Vad vet jag, möjligen består den gruppen till största delen av analognostalgiker. För den abstinensen finns ju numera bot från samma DxO i form av "filter" för artificiell emulering av olika analoga filmtypers "korn".

För de som tar bilder uteslutande i JPEG rakt ur kameran gäller att de även måste vara nöjda med JPEG-renderingen och i det fallet gäller helt andra förutsättningar. Numera kan man ju i de flesta systemkameror inom vissa gränser justera både skärpa, färgmättnad och kontrast i flera steg för varje parameter utifrån en hel palett med fördefinierade "stilmallar". Jag har ofta sett tidningstester i JPEG där man uttalar sig negativt om bildkvaliteten ur vissa kameror. Det läsarna aldrig får veta är om kamerorna i fråga kanske skulle visat upp ett trevligare ansikte om man skruvat lite på dessa parametrar. Att en viss tillverkares grundinställning faller testaren på läppen kanske inte utesluter att konkurrentens också skulle kunna göra det med några enkla handgrepp. I fallet JPEG kan det vara väldigt svårt att mer objektivt få ut av ett test vad en kamera verkligen är kapabel till. Tar man bilder i RAW har man jämförelsevis bara ett enda läge att förhålla sig till. Det är betydligt enklare.

Men inte heller detta är helt skrivna i sten eftersom även de som kör JPEG faktiskt ofta även redigerar sina bilder med RAW-konverterare de med. Man kan ju som bekant idag använda samma mjukvara till både RAW och JPEG. I det fallet sitter man nästan i samma båt.

En annan viktig kritik är att man inte ens bryr sig om att jämföra sina testobjekt ens med tillstymmelse till likvärdiga förhållanden. DxO använder aldrig tillverkarnas egna proprietära objektiv i sina tester. De använder samma normaliserade utrustning för alla kameror. Det vanligaste i mindre seriösa tester är nog att man hakat på objektiv av väldigt olika kvalitet på testobjekten. Det finns ett antal exempel på den ansatsen. Ett annat systematiskt fel är att man okritiskt uttalar sig om ISO-egenskaper utifrån de nominella värden som står på rattar och i kameramenyer. En stor förtjänst med DxO är att de avslöjat tillverkarna med brallorna nere på knäna i det avseendet. Regelmässigt är nominella värden högre än de uppmätta för att ge oss en illusion om mer fantastiska högisoegenskaper än vad det faktiskt handlar om. Inte minst Bengt pekar ju på det i sin jämförelse mellan sin gamla KM 5D.

 

[Fogel70]

Men jag vidhåller som väldigt många gånger tidigare:
Jag har både möjlighet/kompetens och utrustning/mjukvara till att mäta samma saker som DxO gör (allt utom ISO-kalibreringen). Jag har duplicerat deras tester i ganska många sammanhang, med ganska många kameror.

Jag försöker inte ifågasätta resultaten som dxomark fått fram, däremot är jag undrande till vilken koppling deras resultat har i de färdiga bilderna.

Jämför man tex DR hos dxomark med vad dpreview får ut ur ACR så avviker resultaten ganska mycket beroende på kameramodell.
Nikon D5000: DxO = 12.5, DPR(ACR best) = 12.7
Pentax K-x: DxO = 12.5, DPR(ACR best) = 9.9
Betyder det att DPRs metod att mäta DR är helt uppåt väggarna, eller är det ACR som är klart bättre optimerad för Nikons kamera?

 

[Sten-Åke Sändh]

"Sensor Mark" är DxO's största misstag. Och den egentligen enda genomgående faktamässiga felaktigheten på sajten. Men som Martin antyder (och jag tolkar...) är siffran i sig självt en eftergift åt den "dumme genomsnittskunden" som vill ha en slutsiffra/en vinnare i allt. Siffran är framtagen efter ett genomsnitt av kundernas förväntningar - vilket innebär att den "stämmer" för ett par enstaka procent av kunderna; de som prioriterar prestandaavvägningarna exakt så som SensorMark är avvägt. För alla andra kommer siffran vara felvisande.

Vad som händer efter det som DxO mäter (prestanda i råfiler) är dom ju helt fria från - vilket dom också nogsamt påtalar. Om en kamera brusreducerar sina jpg på högre ISO så att bilderna ser värre ut än akvareller som stått ute i regnet en stund - så finns det ju ändå kunder som uppfattar detta som att "kameran är brusfri och bilderna är alltså jättefina". De kommer tycka DxO har jättefel i många fall.

De som inte väger upplösning mot hög-ISO-prestanda på samma sätt som DxO gör kommer inte heller de att kunna hålla med om "slutsatserna". De som inte förstått skillnaden på DR och brus i djupa skuggor har heller inte mycket att hämta i mätningarna.


Men jag vidhåller som väldigt många gånger tidigare:
Jag har både möjlighet/kompetens och utrustning/mjukvara till att mäta samma saker som DxO gör (allt utom ISO-kalibreringen). Jag har duplicerat deras tester i ganska många sammanhang, med ganska många kameror. Mitt huvudmål är inte riktigt samma som deras, jag jobbar med färgresponser och interpoleringsalgoritmer (som iofs är väldigt brusberoende) - de arbetar enbart med att mäta brus/färgrespons. Men på vägen mot målet mäter vi i mångt och mycket samma saker i råfilerna - och det är mycket sällan (tre gånger sammanlagt) som jag hittat avvikelser mellan deras och mina mätningar som är större än vad en normal mättolerans eller olika kamerahus av samma modell skulle kunna förklara.

Vi är fullständigt överens om det bedrägliga och vilseledande i DxO Mark. Det är ett verkligt misstag. Men är Sensor Mark verkligen att betrakta som en faktamässig felaktighet? Det är väl snarast ett olyckligt urval av fakta man presenterar för att kunna kora sina vinnare. De väljer en enda "punkt" i en del fall på ISO-skalan för sina parametrar av ett oändligt antal. Värdet behöver ju inte vara fel i sig även om man bara plockar ut ett av alla och jämför det.

Jag måste bara säga att det du bidrar med Joakim är väldigt viktigt på väldigt många sätt. Att du kan verifiera att DxO faktiskt mäter rätt och att deras mätdata går att lita på är ovärderlig kunskap. Jag hoppas fler än jag noterar detta så vi kan få slut på den debatten. Utan en fast punkt som detta landar vi ohjälpligt i ett fullständigt moras av ojämliga jämförelser och tvivelaktiga slutsatser.

Jag upphör aldrig att förvånas över dina djupa kunskaper och är väldigt glad att du så helhjärtat hjälper till att rensa ut ogräsen i debatten med de fakta som står att finna.