Nr 01 · Słownik · AI / Machine Learning · AI / ML / DL / NLP

Uczenie ze wzmocnieniem

19 pojęć w 10 podgrupach, z prostymi definicjami i źródłami.

Deep rl · 2

  • 01głębokie uczenie ze wzmocnieniemDRLPołączenie uczenia ze wzmocnieniem z głębokimi sieciami neuronowymi jako aproksymatorami funkcji wartości lub polityki w przestrzeniach wysokowymiarowych.
  • 02powtórka doświadczeńTechnika przechowywania przejść w buforze i losowego ich próbkowania do uczenia, dekorelująca dane i poprawiająca efektywność próbkową.

Eksploracja · 2

  • 01dylemat eksploracja-eksploatacjaFundamentalny kompromis między wybieraniem akcji o znanej wysokiej wartości a próbowaniem nowych akcji w celu zdobycia informacji.
  • 02strategia epsilon-zachłannaMetoda eksploracji wybierająca z prawdopodobieństwem epsilon akcję losową, a w pozostałych przypadkach akcję o najwyższej szacowanej wartości.

Formalizm mdp · 2

  • 01politykaOdwzorowanie ze stanów na akcje (lub rozkłady akcji), które determinuje zachowanie agenta w środowisku.
  • 02proces decyzyjny MarkowaMDPFormalny model środowiska zdefiniowany przez stany, akcje, prawdopodobieństwa przejść i nagrody, w którym przyszły stan zależy tylko od stanu i akcji bieżącej.

Funkcje wartosci · 2

  • 01funkcja akcja-wartośćfunkcja QFunkcja oceniająca oczekiwany zwrot z wykonania danej akcji w danym stanie, a następnie podążania za polityką; podstawa metod opartych na wartości.
  • 02funkcja wartościFunkcja przypisująca stanowi (lub parze stan-akcja) oczekiwany skumulowany zwrot przy danej polityce, mierząca długoterminową korzyść.

Metody polityki · 2

  • 01aktor-krytykArchitektura łącząca parametryczną politykę (aktora) uczoną gradientowo z estymatorem wartości (krytykiem) redukującym wariancję aktualizacji.
  • 02gradient politykiMetoda optymalizująca parametryczną politykę przez wznoszenie gradientowe względem oczekiwanego zwrotu, bez pośredniej funkcji wartości.

Metody wartosci · 3

  • 01błąd różnicy czasowejRóżnica między przewidywaną a wzmocnioną wartością stanu, używana jako sygnał uczący w metodach TD i aktor-krytyk.
  • 02Q-learningAlgorytm off-policy uczenia różnic czasowych aktualizujący funkcję akcja-wartość ku optimum niezależnie od polityki generującej dane.
  • 03uczenie różnic czasowychTDKlasa metod aktualizujących oszacowania wartości na podstawie różnicy między kolejnymi predykcjami, bez czekania na końcowy zwrot epizodu.

Programowanie dynamiczne · 1

  • 01równanie BellmanaRekurencyjna zależność wyrażająca wartość stanu przez nagrodę bieżącą i zdyskontowaną wartość stanów następnych; rdzeń programowania dynamicznego w RL.

Sygnal nagrody · 2

  • 01funkcja nagrodyOdwzorowanie przejść środowiska na skalarny sygnał wzmocnienia, definiujące cel zadania uczenia ze wzmocnieniem.
  • 02kształtowanie nagrodyModyfikacja sygnału nagrody przez dodanie pomocniczych składników, przyspieszająca uczenie bez zmiany optymalnej polityki przy zachowaniu niezmienniczości.

Tryby uczenia · 1

  • 01uczenie poza politykąTryb uczenia, w którym agent ocenia lub ulepsza politykę docelową na podstawie danych zebranych przez inną politykę zachowania.

Zwrot dyskonto · 2

  • 01współczynnik dyskontowaniaParametr z przedziału [0,1] ważący przyszłe nagrody względem bieżących, kontrolujący horyzont planowania agenta.
  • 02zwrotSkumulowana, zwykle zdyskontowana suma nagród otrzymanych przez agenta od danego kroku do końca epizodu lub w nieskończoność.

Pozostałe grupy — AI / ML / DL / NLP

Grupa pojęć · AI / ML / DL / NLP19 haseł