Teoria informacji kodowanie
22 pojęć w 8 podgrupach, z prostymi definicjami i źródłami.
Przeglądaj kategorię
Informacja algorytmiczna
Kodowanie kanalowe
Kod dodający redundancję do przesyłanych danych, by umożliwić wykrycie i naprawę błędów powstałych w kanale.
Kod blokowy, którego słowa tworzą podprzestrzeń liniową przestrzeni wektorowej nad ciałem skończonym, opisany macierzą generującą.
Liczba pozycji, na których dwa słowa kodowe równej długości się różnią; określa zdolność kodu do wykrywania i korekcji błędów.
Kodowanie zrodlowe
Metoda kompresji odwzorowująca cały ciąg symboli na pojedynczą liczbę z przedziału jednostkowego, osiągająca długość bliską entropii.
Metoda budowy optymalnego prefiksowego kodu o zmiennej długości, przypisująca krótsze słowa kodowe częstszym symbolom źródła.
Kodowanie danych umożliwiające dokładne odtworzenie oryginału, redukujące rozmiar przez usunięcie statystycznej redundancji.
Kodowanie danych dopuszczające kontrolowane zniekształcenie odtworzenia w zamian za większy stopień redukcji rozmiaru.
Miary informacji
Niesymetryczna miara różnicy między dwoma rozkładami prawdopodobieństwa, wyrażająca nadmiar bitów potrzebny przy kodowaniu wg rozkładu przybliżonego zamiast prawdziwego.
Odpowiednik entropii dla ciągłych zmiennych losowych, definiowany przez całkę z gęstości pomnożonej przez logarytm gęstości.
Miara średniej ilości informacji (nieokreśloności) źródła dyskretnego, równa oczekiwanej wartości minus logarytmu prawdopodobieństw symboli, wyrażana w bitach.
Średnia nieokreśloność jednej zmiennej losowej przy znanej wartości drugiej zmiennej, uśredniona po rozkładzie tej drugiej.
Miara redukcji nieokreśloności jednej zmiennej losowej dzięki znajomości drugiej; ilość informacji, którą zmienne niosą o sobie nawzajem.
Struktura kodow
Kod, w którym żadne słowo kodowe nie jest przedrostkiem innego, co umożliwia jednoznaczne i natychmiastowe dekodowanie strumienia.
Warunek konieczny i wystarczający na istnienie kodu prefiksowego o zadanych długościach słów: suma potęg podstawy o wykładnikach ujemnych długości nie przekracza jedności.
Teoria kanalu
Model kanału o wejściu i wyjściu binarnym, w którym każdy bit jest niezależnie odwracany z jednakowym prawdopodobieństwem błędu.
Model probabilistyczny opisany rozkładem warunkowym wyjścia względem wejścia, reprezentujący medium przesyłu informacji wraz z zakłóceniami.
Maksymalna informacja wzajemna między wejściem a wyjściem kanału po wszystkich rozkładach wejścia; górne ograniczenie szybkości niezawodnej transmisji.
Twierdzenia graniczne
Najmniejsza szybkość bitowa potrzebna do zakodowania źródła przy zadanym dopuszczalnym poziomie zniekształcenia odtworzenia.
Wynik mówiący, że transmisja z dowolnie małym prawdopodobieństwem błędu jest możliwa wtedy i tylko wtedy, gdy szybkość nie przekracza przepustowości kanału.
Wynik mówiący, że dolnym granicznym oczekiwanym kosztem bezstratnego kodowania źródła jest jego entropia.
Wlasnosci asymptotyczne
Pozostałe grupy — Matematyka dyskretna i teoria obliczeń
Chcesz wykorzystać AI w swojej firmie?
Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.
Bezpłatna konsultacja