Trening i optymalizacja

Proces poszukiwania wartości hiperparametrów minimalizujących błąd walidacyjny, np. przez przeszukiwanie siatki lub losowe.

Funkcja straty mierząca rozbieżność między przewidywanym a docelowym rozkładem prawdopodobieństwa, standardowa w klasyfikacji.

Funkcja mierząca rozbieżność między przewidywaniem modelu a wartością docelową; jej minimalizacja steruje uczeniem parametrów.

Stan, w którym model dopasowuje się do szumu danych treningowych, osiągając niski błąd treningowy, ale wysoki błąd na danych testowych.

Technika regularyzacji przerywająca trening, gdy błąd na zbiorze walidacyjnym przestaje maleć, by zapobiec przeuczeniu.

Strategia zmieniająca tempo uczenia w trakcie treningu, zwykle malejąco, by poprawić zbieżność i jakość rozwiązania.

Hiperparametr skalujący wielkość kroku aktualizacji parametrów w metodach gradientowych; zbyt duże powoduje rozbieżność, zbyt małe spowalnia zbieżność.

Dodanie do funkcji straty kary proporcjonalnej do kwadratu normy parametrów, co zmniejsza ich wartości i poprawia generalizację.

Technika optymalizacji akumulująca wykładniczo ważoną średnią dotychczasowych gradientów, by przyspieszyć zbieżność i tłumić oscylacje.

Stochastyczny spadek gradientu — wariant spadku gradientu szacujący gradient na losowej próbce (mini-paczce) zamiast całego zbioru danych.

Iteracyjna metoda optymalizacji aktualizująca parametry w kierunku przeciwnym do gradientu funkcji straty, aby zmniejszyć jej wartość.

Nieliniowa funkcja stosowana do wyjścia neuronu, umożliwiająca sieci modelowanie nieliniowych zależności.

Prostowana jednostka liniowa — funkcja aktywacji zwracająca maksimum z zera i wejścia, łagodząca problem zanikającego gradientu.

Algorytm obliczania gradientu funkcji straty względem parametrów sieci przez wsteczne stosowanie reguły łańcuchowej warstwa po warstwie.

Algorytm optymalizacji adaptujący tempo uczenia dla każdego parametru na podstawie estymat pierwszego i drugiego momentu gradientu.

Jeden pełny przebieg algorytmu uczenia przez cały zbiór treningowy.

Niewielki podzbiór danych treningowych użyty do jednej aktualizacji parametrów; kompromis między pełnym a pojedynczo-próbkowym szacowaniem gradientu.

Problem, w którym gradienty rosną wykładniczo podczas propagacji wstecznej, powodując niestabilność i rozbieżność treningu.

Technika ograniczająca normę gradientu do ustalonego progu, zapobiegająca destabilizacji treningu przez eksplodujące gradienty.

Problem, w którym gradienty maleją wykładniczo w głębokich warstwach, uniemożliwiając skuteczną aktualizację wczesnych parametrów sieci.