DF Weekly: Målstolparna har ändrats igen vid bedömning av konsolens bildkvalitet

Återutgiven av Platon

anhängare: 0

Varje vecka gillar jag att välja ett specifikt ämne att diskutera från den senaste utgåvan av DF Direct Weekly – och det finns verkligen en pinsamhet över rikedomar att välja mellan i ett annat stort avsnitt. Vi satte oss ner för att filma vår 141:e show morgonen efter The Game Awards, och trots den vanliga nedtoningen av förväntningarna från Geoff Keighley, kom "wurld prm'ears" tjockt och snabbt. För den här bloggen är det faktiskt en supporterfråga som föranleder den här artikeln. DF-supportern Julian Sniter frågade oss om uppskalningstekniker som AMD:s FSR och Epics TSR gör det svårare för oss att "räkna pixlar" och fastställa infödda resolutioner. Svaret är ja, men det mer utförliga svaret är att uppskalningstekniker har utvecklats minst två gånger sedan vi först började testa bildkvalitet – och det är svårare nu än någonsin.

Det har gått ett par år nu sedan jag gjorde det till ett personligt uppdrag att tona ned – om inte eliminera helt – avslöja den inbyggda renderingsupplösningen för ett visst spel. Tillbaka i Xbox 360- och PlayStation 3-eran var målupplösningen vanligtvis 720p och uppskalning underifrån, vilket kan ha en betydande inverkan på bildkvaliteten för ett givet spel. Men när man flyttade in i PS4 Pro/Xbox One X-eran, flyttades målet för utgångsupplösningen till inbyggt 4K och en mängd spännande uppskalningstekniker kom in i spelet – den mest populära är schackbräde-rendering (som sett i sådana som Horizon Zero Dawn, Days Gone och många andra) och temporal supersampling/jitter (Marvel's Spider-Man och For Honor är två bra exempel). Vi hänvisar ofta till den senare tekniken som TAAU – en kombination av uppskalning och tidsmässig kantutjämning.

Med några uppenbara extremvärden (The Avengers använde CBR på PS5, TAAU på Xbox), var färdriktningen från utvecklarna att gynna TAAU och vid den tidpunkten verkade argumentet att döda pixelantal en gång för alla ointagligt. Identifierbara uppskalningsartefakter verkade mestadels försvinna till förmån för klarhet: ju högre intern upplösning, desto mindre suddig var bilden. Och ju fler pixlar du skalat upp, desto mindre blir avkastningen. Det finns många fantastiska exempel på "native" 1440p-upplösningar som övertygande skulle kunna passa för en 4K-bild – eller åtminstone fortfarande se bra ut på en 4K-skärm. Vi arbetade med några fantastiskt begåvade människor och tog fram några intressanta exempel på ett "tydlighetsindex" som fungerade genom att jämföra TAAU-uppskalning med rendering med inbyggd upplösning mellan 1080p och 2160p, och som effektivt tog bort pixelantalet helt och hållet till förmån för kvalitetsjämförelse baserat på vad det mänskliga ögat ser faktiskt.

Rich Leadbetter, Alex Battaglia och Oliver Mackenzie tar till mikrofonerna den här veckan i DF Direct Weekly #141.

0:00:48 Nyheter 01: The Game Awards – Senua's Saga: Hellblade 2
0:08:51 OD
0:17:48 Ingen vila för de onda, Monster Hunter Wilds
0:26:58 Marvel's Blade, Light No Fire
0:39:13 Black Myth: Wukong, Persona 3 Reload, Metaphor Refantazio, Skull and Bones
0:51:58 Nyheter 02: Avatar: Frontiers of Pandora släppt!
1:01:58 Supporter F1: Hur pixelräknar du spel med uppsampling?
1:09:06 Supporter F2: Undviker moderna spel fysikbaserat spel på grund av bearbetningsbegränsningar eller speldesign?
1:12:19 Supporter F3: Antyder tillägget av sökvägsspårning till Call of Dutys lobbyer en bredare implementering senare?
1:16:07 Supporter F4: Ska konsoltillverkarna släppa jailbreak-patchar för äldre konsoler?
1:19:38 Supporter F5: Bör GPU-tillverkare införa funktioner från Special K i sina drivrutiner?
1:24:25 Supporter F6: Kan du pixelräkna The Game Awards?

TAAU var en fantastisk teknik för sin tid och håller sig bra än idag – Insomniac använder fortfarande sin egen version, ITGI. Att peka ut vad den ursprungliga upplösningen faktiskt är har akademiskt intresse, men när varje bildruta har injicerade detaljer från flera tidigare bildrutor, blir 1440p – eller vad som helst – så mycket mer. Ett annat bra exempel är Infinity Wards uppskalare i Call of Duty. För ett par år sedan i lagets polska studio fick jag se rendering av inbyggd upplösning jämfört med slutresultatet på PS4-versionen av Vanguard och jag blev förvånad över skillnaden. Och prototypverktyg baserade på Warzone-repriser tillät oss återigen att programmatiskt kvantifiera den förbättrade bildkvaliteten på Xbox One X vs PlayStation 4 Pro.

Och ändå, ett par år senare, räknar Digital Foundry fortfarande pixelräknade på gammaldags sätt. Och för att svara på supportern Julian Sniters fråga, ja, det är mycket svårare än det brukade vara. Spel med dålig kantutjämning, MSAA eller till och med FXAA kan vara relativt lätta att räkna. Du hittar en kant och pekar ut "faktiska" pixlar inom "utgångspixlarna" i den slutliga bilden och förhållandet du hittar definierar den ursprungliga upplösningsrenderingen. TAAU gör saker mycket svårare eftersom dessa kanter blev svårare och svårare att hitta. Inte nog med det, du kan titta på två pixelantal – den interna upplösningen och vilken utdataupplösning spelet än försöker lösa.

Trots det såg "tydlighetsindexet" bra ut som en ersättning, men tvivel började smyga sig på så fort vi tog Nvidias DLSS. Remedy's Control har en ganska grundläggande form av TAA som har massor av brus i sig - men Nvidias DLSS, även på en lägre renderingsupplösning, har en lägre grad av brus och en antagligen mer tilltalande bild överlag. Ett tydlighetsindex här fungerar inte när man jämför olika uppskalningsmetoder och mer än så, visade att brus och artefakter i huvudsak genererade "falskt positiva" detaljnivåer. Detta visade att en ersättning för pixelräkning skulle förlita sig på exakt samma uppskalningstekniker som används mellan versioner – något som inte alltid var fallet. Och om det inte fanns någon PC-version alls för att generera ground truth 1080p och 2160p, skulle vi ha fastnat ändå.

För att se detta innehåll, aktivera inriktningscookies.

AMD:s FSR 2 komplicerade saken ytterligare. I teorin är det en betydligt överlägsen uppskalare än TAAU – vilket förklarar varför så många utvecklare har avstått från äldre tekniker till förmån för det (Cyberpunk 2077 och The Witcher 3 är två bra exempel). Men i ett försök att rekonstruera en inbyggd bild från en mycket lägre upplösning, skapar FSR 2 sitt eget utbud av artefakter – spökbilder, fizzle och mer. Vid det här laget har vi kommit till slutsatsen att det inte finns något programmatiskt sätt att uttrycka bildkvalitet. Speciellt FSR 2:s fizzling säger helt enkelt till en algoritm som vill mäta klarhet att det finns fler detaljer – och det kanske finns, men det är oönskade detaljer. Vid det här laget är en subjektiv uppdelning av bildkvalitet och, ja, pixelräkning det bästa sättet att förklara bildkvalitet, särskilt i en tid då 4K-konsoler använder FSR 2 för att uppskala från allt så lågt som 720p. Bilden kan se dålig ut och grundupplösningen hjälper till att förklara varför.

Finns det någon väg framåt för att eliminera antalet pixlar för gott? Vi pekade nyligen på en maskininlärningsmodell som används av Netflix och andra för att bedöma videokodningskvalitet. Du matar den med samma innehåll med olika kodningar och varje körning får en poäng mellan 0 och 1. En av våra supportrar gjorde mycket arbete med att försöka använda den här modellen för att jämföra DLSS och FSR 2. Och till en början såg resultaten intressanta ut . DLSS fick alltid högre poäng än FSR 2, vilket vi trodde skulle vara fallet med tanke på att Nvidias uppskalare tenderar att leverera betydligt högre kvalitetsnivåer än FSR 2. Men ju mer innehåll vi testade, desto mindre övertygade var vi om resultaten.

Det visar sig att det inte passade bra att använda en videobaserad modell. Sättet som denna kodarmodell sattes ihop var dock spännande: modellen tränades i huvudsak genom att visa människor olika videojämförelser och ombads göra poäng som de tyckte såg bättre ut. Det är troligt att tusentals sådana jämförelser gjordes och modellen tog form därifrån. Så, kanske något liknande skulle kunna göras genom att jämföra de olika uppskalningstekniker som finns tillgängliga idag? Kanske kommer AI i framtiden att lösa problemet med pixelräkning en gång för alla, men för nu är vi tillbaka på ruta ett. Det handlar om en subjektiv analys bättre informerad genom att räkna ut basupplösning på gammaldags sätt. Pixelräkningar i sig betyder inte så mycket, men hjälper definitivt till att förklara några av de sämre exemplen på bildkvalitet vi har sett på senare tid.