Teoria informacji kodowanie

Algorytmiczna miara informacji obiektu równa długości najkrótszego programu generującego ten obiekt na uniwersalnej maszynie obliczeniowej.

Kod dodający redundancję do przesyłanych danych, by umożliwić wykrycie i naprawę błędów powstałych w kanale.

Kod blokowy, którego słowa tworzą podprzestrzeń liniową przestrzeni wektorowej nad ciałem skończonym, opisany macierzą generującą.

Liczba pozycji, na których dwa słowa kodowe równej długości się różnią; określa zdolność kodu do wykrywania i korekcji błędów.

Metoda kompresji odwzorowująca cały ciąg symboli na pojedynczą liczbę z przedziału jednostkowego, osiągająca długość bliską entropii.

Metoda budowy optymalnego prefiksowego kodu o zmiennej długości, przypisująca krótsze słowa kodowe częstszym symbolom źródła.

Kodowanie danych umożliwiające dokładne odtworzenie oryginału, redukujące rozmiar przez usunięcie statystycznej redundancji.

Kodowanie danych dopuszczające kontrolowane zniekształcenie odtworzenia w zamian za większy stopień redukcji rozmiaru.

Niesymetryczna miara różnicy między dwoma rozkładami prawdopodobieństwa, wyrażająca nadmiar bitów potrzebny przy kodowaniu wg rozkładu przybliżonego zamiast prawdziwego.

Odpowiednik entropii dla ciągłych zmiennych losowych, definiowany przez całkę z gęstości pomnożonej przez logarytm gęstości.

Miara średniej ilości informacji (nieokreśloności) źródła dyskretnego, równa oczekiwanej wartości minus logarytmu prawdopodobieństw symboli, wyrażana w bitach.

Średnia nieokreśloność jednej zmiennej losowej przy znanej wartości drugiej zmiennej, uśredniona po rozkładzie tej drugiej.

Miara redukcji nieokreśloności jednej zmiennej losowej dzięki znajomości drugiej; ilość informacji, którą zmienne niosą o sobie nawzajem.

Kod, w którym żadne słowo kodowe nie jest przedrostkiem innego, co umożliwia jednoznaczne i natychmiastowe dekodowanie strumienia.

Warunek konieczny i wystarczający na istnienie kodu prefiksowego o zadanych długościach słów: suma potęg podstawy o wykładnikach ujemnych długości nie przekracza jedności.

Model kanału o wejściu i wyjściu binarnym, w którym każdy bit jest niezależnie odwracany z jednakowym prawdopodobieństwem błędu.

Model probabilistyczny opisany rozkładem warunkowym wyjścia względem wejścia, reprezentujący medium przesyłu informacji wraz z zakłóceniami.

Maksymalna informacja wzajemna między wejściem a wyjściem kanału po wszystkich rozkładach wejścia; górne ograniczenie szybkości niezawodnej transmisji.

Najmniejsza szybkość bitowa potrzebna do zakodowania źródła przy zadanym dopuszczalnym poziomie zniekształcenia odtworzenia.

Wynik mówiący, że transmisja z dowolnie małym prawdopodobieństwem błędu jest możliwa wtedy i tylko wtedy, gdy szybkość nie przekracza przepustowości kanału.

Wynik mówiący, że dolnym granicznym oczekiwanym kosztem bezstratnego kodowania źródła jest jego entropia.

Zbiór ciągów źródła, których empiryczna entropia jest bliska entropii źródła; skupia niemal całe prawdopodobieństwo i ma rozmiar rzędu dwóch do entropii.