Kompresja JPEG

Krok 1: Transformacja przestrzeni kolorów

Większość obrazów cyfrowych jest przechwytywana i początkowo przechowywana w przestrzeni kolorów RGB (Czerwony, Zielony, Niebieski), gdzie kolor każdego piksela jest definiowany przez intensywność tych trzech podstawowych kolorów. Chociaż jest to intuicyjne dla wyświetlaczy, nie jest idealne dla kompresji. Pierwszym krokiem w procesie JPEG jest konwersja obrazu z RGB na inną przestrzeń kolorów, zazwyczaj YCbCr.

Przestrzeń YCbCr dzieli informacje o obrazie na trzy składniki:

• Y (Luminancja): Ten składnik reprezentuje informacje o jasności lub skali szarości obrazu. To jest to, co byś zobaczył, patrząc na czarno-białą wersję fotografii.
• Cb (Chrominancja-niebieska): Ten składnik opisuje różnicę składowej niebieskiej względem luminancji.
• Cr (Chrominancja-czerwona): Ten składnik opisuje różnicę składowej czerwonej względem luminancji.

Rozdzielenie jest użyteczne, ponieważ wzrok jest bardziej wrażliwy na szczegóły jasności (luminancji) niż na szczegóły koloru (chrominancji). JPEG może przetwarzać oba rodzaje składowych z różną dokładnością. W plikach zgodnych z JFIF stosuje się przestrzeń YCbCr oraz określa próbki poszczególnych komponentów w nagłówkach i strukturze ramki. Współczynniki próbkowania zapisuje się osobno dla każdego komponentu, aby dekoder mógł odtworzyć poszczególne płaszczyzny.

Krok 2: Podpróbkowanie chrominancji (downsampling)

Po oddzieleniu koloru od jasności algorytm może zmniejszyć rozdzielczość kanałów Cb i Cr. Podpróbkowanie chrominancji oznacza zapis próbek koloru współdzielonych przez małe grupy pikseli zamiast osobnej próbki dla każdego piksela.

Jest to często opisywane za pomocą trójczłonowego stosunku, takiego jak $4:4:4$, $4:2:2$, lub $4:2:0$. Dla bloku 4 poziomych pikseli:

• $4:4:4$: Brak podpróbkowania. Każdy z 4 pikseli ma swoją odrębną wartość Y, Cb i Cr. Zachowuje to maksymalną jakość koloru.
• $4:2:2$: Podpróbkowanie poziome. Każda para dwóch poziomych pikseli dzieli tę samą wartość Cb i Cr, podczas gdy każdy ma swoją własną wartość Y. Rozdzielczość koloru jest zmniejszona o połowę w poziomie.
• $4:2:0$: Jest to często spotykany schemat w wideo konsumenckim i plikach JPEG. Pozioma i pionowa rozdzielczość koloru jest zmniejszona o połowę. Blok $2 \times 2$ pikseli dzieli jedną wartość Cb i Cr.

Ten krok zmniejsza liczbę próbek przed dalszym kodowaniem. Oznaczenie opisuje względne częstotliwości próbkowania komponentów. Nie jest bezpośrednim współczynnikiem rozmiaru pliku. Widoczność zmiany zależy od obrazu, schematu próbkowania i parametrów kodera.

Krok 3: Dyskretna transformata kosinusowa (DCT)

Po transformacji kolorów i podpróbkowaniu każdy kanał (Y, Cb i Cr) jest dzielony na bloki pikseli $8 \times 8$. Każdy blok jest przetwarzany przez Dyskretną Transformatę Kosinusową.

Zamiast 64 wartości pikseli DCT daje 64 współczynniki częstotliwości. Współczynniki opisują udział fal kosinusowych o różnych częstotliwościach. Wynikiem jest kolejny blok $8 \times 8$, którego wartości opisują częstotliwości:

• Współczynnik DC: Wartość w lewym górnym rogu bloku ($F(0,0)$) to współczynnik DC. Odpowiada średniej wartości 64 próbek po przeskalowaniu przyjętym w definicji DCT, czyli ogólnemu poziomowi bloku.
• Współczynniki AC: Pozostałe 63 współczynniki to współczynniki AC (prądu zmiennego). Reprezentują one szczegóły, tekstury i krawędzie w bloku. Współczynniki blisko lewego górnego rogu reprezentują zmiany o niskiej częstotliwości (łagodne gradienty), podczas gdy współczynniki w prawym dolnym rogu reprezentują zmiany o wysokiej częstotliwości (drobne szczegóły i ostre krawędzie).

W typowym bloku $8 \times 8$ z fotografii duża część energii jest skupiona we współczynniku DC i kilku niskoczęstotliwościowych współczynnikach AC. Współczynniki wysokoczęstotliwościowe często mają małe wartości, co ułatwia kwantyzację i kodowanie. Sama transformacja DCT jest odwracalna w modelu matematycznym. W implementacji mogą wystąpić niewielkie błędy zaokrągleń, a zasadniczą utratę informacji wprowadza kolejny etap.

Krok 4: Kwantyzacja, etap stratny

W kwantyzacji informacje są trwale upraszczane. Każdy z 64 współczynników bloku DCT jest dzielony przez odpowiednią wartość z 64-elementowej tablicy kwantyzacji, a wynik jest zaokrąglany do liczby całkowitej.

Ta tablica wynika z zasad psychowizualnych i charakterystyki obrazu.

• Wartość w lewym górnym rogu tablicy kwantyzacji (dla współczynnika DC) jest zazwyczaj mała, zachowując kluczowe informacje o średnim kolorze z dużą precyzją.
• Wartości stają się stopniowo większe dla współczynników o wyższych częstotliwościach. Oznacza to, że drobne szczegóły (współczynniki AC o wysokiej częstotliwości) są dzielone przez duże liczby, co powoduje, że ich wynikowe wartości są zaokrąglane do zera lub bardzo małych liczb całkowitych.

Parametr "jakości" w popularnych implementacjach, takich jak IJG lub libjpeg, bywa podawany w skali od 1 do 100 i skaluje tablicę kwantyzacji. Wysoka jakość, na przykład 95, używa mniejszych wartości, zachowuje więcej szczegółów i tworzy większy plik. Niska jakość, na przykład 20, używa większych wartości, upraszcza więcej szczegółów i tworzy mniejszy plik. Skala 1 do 100 jest konwencją kodera. Nie stanowi części samego standardu JPEG. Dla współczynnika $F(u,v)$ i elementu tabeli $Q(u,v)$ koder zapisuje w uproszczeniu $round(F(u,v)/Q(u,v))$. Po tym kroku wiele z 63 współczynników AC może przyjąć zero.

Krok 5: Kodowanie entropijne

Po kwantyzacji blok współczynników zawiera wiele zer. Ostatnim krokiem jest uporządkowanie i zakodowanie danych metodami bezstratnymi.

1. Skanowanie zygzakowate: 64 skwantyzowane współczynniki są odczytywane w porządku zygzakowatym, zaczynając od współczynnika DC w lewym górnym rogu i przesuwając się w kierunku prawego dolnego rogu. Celem tego skanowania jest zgrupowanie wielu zerowych współczynników wysokoczęstotliwościowych w długie, kolejne serie.
2. Kodowanie długości serii (RLE): Długie serie zer są następnie efektywnie kodowane. Zamiast pisać "0, 0, 0, 0, 0", RLE zapisuje kod oznaczający "pięć zer".
3. Kodowanie Huffmana: W bazowym procesie wynikowy strumień kodów RLE i niezerowych współczynników AC, wraz z osobno kodowanymi współczynnikami DC, jest kompresowany kodami Huffmana. Współczynniki DC są zwykle kodowane różnicowo względem poprzedniego bloku, a znacznik końca bloku opisuje pozostałe zera. Standard JPEG definiuje także procesy z kodowaniem arytmetycznym. Kody krótsze dla częstszych wartości pakują dane do strumienia bitów.