Különleges, a megszokott megoldásoktól eltérő képkocka-generálási eljárásra nyújtott be szabadalmat a Sony. A technológia elsődleges célja az lehet, hogy a következő generációs konzolok – mindenekelőtt a PlayStation 6 – a klasszikus eljárásokra jellemző beviteli késleltetés (input lag) nélkül növeljék a játékok képfrissítési sebességét.
Előrejelzés a várakozás helyett
A piacon jelenleg elérhető képkocka-generáló megoldások két egymást követő, már legyártott képkocka közé ékelnek be egy mesterségesen létrehozott köztes képet. Ez az eljárás azonban megköveteli mindkét eredeti képkocka elkészültét, ami észrevehető késleltetést vihet az irányításba. A benyújtott dokumentáció szerint a fejlesztők most egy olyan rendszert vázoltak fel, amely nem interpolál, hanem extrapolál: egyetlen kiszámított képkockából, mozgási vektorokból és a vezérlő beviteli adataiból jósolja meg a következő képet.
A modell futtatásához egy kódoló és egy dekódoló neurális hálózat dolgozik együtt. Az AI a folyamatos videófolyamon tanul, így nincs szükség előzetes manuális adatelőkészítésre. Amennyiben a gépi tanulási folyamat túl sok erőforrást igényelne, a rendszer képes egy egyszerűbb, nem AI-alapú tartalék megoldásra is visszaváltani, amely a pixelblokkokat tolja el a mozgásvektorok mentén.
Az irányítás adatai is segítenek
Az eljárás egyik legfontosabb újdonsága, hogy a modell munkáját a gamepad legfrissebb gombnyomásai és karmozdulatai is segítik. Ha a játékos hirtelen elfordítja a kamerát vagy megnyomja az ugrás gombját, a rendszer ezt a jelet azonnal figyelembe veszi a képkocka kiszámításakor. Ez a módszer jelentősen csökkentheti az esetleges vizuális hibákat és a mozgási akadásokat a nagyobb számítási igényű jeleneteknél.
- A rendszer előre jelzi a következő képet ahelyett, hogy megvárná a következőt.
- A kontroller bemeneti jelei segítik a pontosabb képalkotást.
- Több egymást követő képkocka kiszámítására is lehetőség van.
Kérdések a megvalósítás körül
Noha a koncepció ígéretesnek tűnik, a szabadalmi dokumentum nem tartalmaz pontos méréseket a képminőségről vagy a tényleges válaszidőről. A többszörös képkocka-generálás lehetősége ráadásul a tévék többségénél korlátokba ütközhet, hiszen a lakossági kijelzők döntő többsége maximum 120 Hz-es frissítést támogat.
Ahogy a szabadalmak esetében megszokott, a benyújtott kérvény önmagában még nem garantálja a technológia boltokba kerülését. A PlayStation 5 Pro esetében bevezetett saját skálázási eljárás után ugyanakkor logikus lépés lenne, hogy a gyártó a saját képkocka-generálási módszerét is csatarendbe állítsa a következő konzolgeneráció érkezésére.