Regularyzacja i generalizacja

Zależność, w której zmniejszanie obciążenia estymatora zwykle zwiększa jego wariancję i odwrotnie, wpływając na całkowity błąd predykcji.

Systematyczny błąd estymatora wynikający z błędnych założeń modelu; różnica między wartością oczekiwaną predykcji a wartością prawdziwą.

Wrażliwość predykcji modelu na zmiany w zbiorze treningowym; składowa błędu wynikająca z fluktuacji estymatora między próbkami.

Oczekiwana wartość funkcji straty modelu na nowych danych z rozkładu generującego; oczekiwany błąd poza zbiorem treningowym.

Standaryzacja aktywacji warstwy w obrębie minipakietu danych w trakcie treningu, stabilizująca uczenie i działająca regularyzująco.

Składnik dodawany do funkcji celu, penalizujący złożoność modelu w celu poprawy generalizacji; jego siłę kontroluje współczynnik regularyzacji.

Metoda regularyzacji sieci neuronowych polegająca na losowym wyłączaniu części neuronów podczas treningu, co zapobiega ich współzależności.

Dodanie do funkcji straty kary proporcjonalnej do sumy wartości bezwzględnych wag, sprzyjającej rozwiązaniom rzadkim z zerowymi wagami.

Miara pojemności klasy hipotez równa największej liczbie punktów, którą klasa potrafi rozbić we wszystkich możliwych etykietowaniach.

Zdolność modelu do dopasowania szerokiego zakresu funkcji; zbyt duża sprzyja przeuczeniu, zbyt mała niedouczeniu.