Dlaczego Kompresja Wideo to Cyfrowy Cud

Jeśli kompresję obrazów statycznych można porównać do sprytnego spakowania walizki na wyjazd, to kompresja wideo jest odpowiednikiem organizacji logistyki dla światowej trasy koncertowej zespołu rockowego. Skala danych jest monumentalnie większa, a wyzwania o wiele bardziej złożone. Wideo to nie tylko zbiór obrazów; to sekwencja obrazów wyświetlanych w szybkim tempie, tworząca iluzję ruchu. Ta sekwencyjna natura wprowadza nowy wymiar danych, którym trzeba zarządzać: czas.

Rozważmy surowy rozmiar danych krótkiego, nieskompresowanego klipu wideo. Pojedyncza klatka standardowego wideo Full HD ($1920 \times 1080$ pikseli) wykorzystująca 24-bitowy kolor (8 bitów na każdy z kanałów: czerwony, zielony i niebieski) wymaga:

$1920 \times 1080 \text{ pikseli} \times 24 \text{ bity/piksel} \approx 49.8 \text{ milionów bitów}$

Czyli około $6.2 \text{ megabajtów (MB)}$ na klatkę.

Standardowe wideo odtwarzane jest z prędkością około 30 klatek na sekundę. Zatem na jedną sekundę nieskompresowanego wideo potrzebowalibyśmy:

$6.2 \text{ MB/klatkę} \times 30 \text{ klatek/sekundę} = 186 \text{ MB/sekundę}$

Jednominutowy film zajmowałby ponad 11 gigabajtów. Dwugodzinny film to ponad terabajt danych. Przesyłanie strumieniowe lub przechowywanie tak ogromnych plików byłoby całkowicie niepraktyczne w zastosowaniach konsumenckich. Dlatego skuteczna kompresja wideo nie jest tylko udogodnieniem; jest to podstawowa technologia umożliwiająca działanie usług streamingowych jak Netflix, wideokonferencji jak Zoom, a nawet prostego udostępniania filmów ze smartfona.

Algorytmy kompresji wideo osiągają swoją niesamowitą wydajność, wykorzystując dwa fundamentalne rodzaje redundancji:

1. Redundancja przestrzenna (wewnątrzklatkowa): Jest to redundancja w obrębie pojedynczej klatki, tak jak w obrazie statycznym. Odnosi się do obszarów tego samego lub podobnego koloru, jak błękitne niebo czy biała ściana.
2. Redundancja czasowa (międzyklatkowa): Jest to redundancja pomiędzy kolejnymi klatkami. W większości filmów zmiana z jednej klatki na następną jest bardzo niewielka. Osoba mówiąca, samochód jadący przez ekran – tło często pozostaje statyczne lub zmienia się w przewidywalny sposób. To właśnie tutaj kompresja wideo osiąga największe oszczędności.

Kompresja Wewnątrzklatkowa i Międzyklatkowa: Dwa Filary Kodeków Wideo

Nowoczesne kodeki wideo, czyli oprogramowanie lub sprzęt obsługujący kompresję i dekompresję, stosują zaawansowane połączenie dwóch odrębnych strategii. Jedna z nich traktuje każdą klatkę jako osobny obraz, podczas gdy druga sprytnie wykorzystuje podobieństwa między klatkami w czasie.

Główni Aktorzy: Klatki I, P oraz B

Nie wszystkie klatki w skompresowanym strumieniu wideo są sobie równe. Nowoczesne kodeki, takie jak MPEG, używają mieszanki trzech różnych typów klatek, aby osiągnąć optymalną równowagę między współczynnikiem kompresji, jakością i funkcjonalnością.

• Klatki I (Intra-frames lub Klatki Kluczowe)

  Klatki I są samowystarczalne. Są kompresowane wyłącznie przy użyciu technik wewnątrzklatkowych (przestrzennych) i nie zależą od żadnych innych klatek do dekodowania. Są to w zasadzie kompletne, niezależne obrazy (jak plik JPEG) osadzone w strumieniu wideo.

  Rola: Służą jako punkty odniesienia w wideo. Są niezbędne do rozpoczęcia odtwarzania, umożliwienia widzowi przewinięcia do określonego momentu w filmie oraz do odzyskiwania danych po błędach transmisji. Ponieważ zawierają pełną informację o obrazie, są największym z trzech typów klatek.

• Klatki P (Predicted frames)

  Klatki P są bardziej wydajne. Są kodowane za pomocą kompensacji ruchu z najnowszej poprzedzającej klatki I lub P. Klatka P przechowuje tylko wektory ruchu i dane rezydualne (różnice). To sprawia, że są znacznie mniejsze niż klatki I.

  Rola: Przenoszą "historię" ruchu naprzód od jednej klatki kluczowej do następnej, drastycznie redukując ilość danych potrzebnych do opisania zmian między klatkami.

• Klatki B (Bi-directionally predicted frames)

  Klatki B oferują najwyższy poziom kompresji. Wykorzystują kompensację ruchu, patrząc zarówno wstecz na poprzednią klatkę referencyjną (I lub P), jak i w przód na przyszłą klatkę referencyjną (I lub P). Dzięki możliwości odniesienia do informacji z dwóch kierunków, koder często może znaleźć jeszcze lepsze dopasowanie (przewidywanie interpolowane), co skutkuje bardzo małą ilością danych rezydualnych.

  Rola: Klatki B wypełniają luki między klatkami I i P z maksymalną wydajnością. Są najmniejszym typem klatki. Ich użycie wiąże się z kompromisem: wprowadzają opóźnienie, ponieważ dekoder musi czekać na nadejście przyszłej klatki referencyjnej, zanim będzie mógł zdekodować klatkę B. Oznacza to również, że klatki muszą być przesyłane i dekodowane w innej kolejności niż są wyświetlane.

Porównanie Standardów: M-JPEG kontra MPEG

Wybór standardu kompresji ma głęboki wpływ na rozmiar pliku, jakość i użyteczność. Dwie główne rodziny standardów ilustrują różne filozofie: Motion JPEG i rodzina MPEG.