Sieci neuronowe architektury

Name: lok-ai — Lokalna Automatyzacja Biznesu
Address: Grudziądz, kujawsko-pomorskie, PL
Telephone: +48-534-541-454
Price range: $$

21 pojęć w 12 podgrupach, z prostymi definicjami i źródłami.

Aktywacje · 1

01funkcja softmaxFunkcja normalizująca wektor liczb do rozkładu prawdopodobieństwa, używana w warstwie wyjściowej klasyfikacji wieloklasowej.

01autoenkoder wariacyjny (VAE)VAE; variational autoencoderGeneratywny autoenkoder modelujący ukrytą przestrzeń jako rozkład probabilistyczny, uczony przez maksymalizację dolnej granicy wiarygodności.
02generatywna sieć przeciwstawna (GAN)GAN; generative adversarial networkPara sieci — generator i dyskryminator — uczonych przeciwstawnie, gdzie generator tworzy próbki, a dyskryminator odróżnia je od prawdziwych.

01graficzna sieć neuronowa (GNN)GNN; graph neural networkArchitektura operująca na danych grafowych, agregująca informacje od sąsiadów węzła przez przekazywanie komunikatów.

01poolingłączenie; poolingOperacja agregująca lokalne obszary mapy cech (np. maksimum lub średnia) w celu redukcji wymiarowości i uodpornienia na małe przesunięcia.
02sieć splotowa (CNN)CNN; convolutional neural networkArchitektura wykorzystująca warstwy splotowe z dzielonymi wagami do ekstrakcji lokalnych cech, dominująca w przetwarzaniu obrazów.
03warstwa splotowaWarstwa stosująca operację splotu z uczonymi filtrami przesuwanymi po wejściu, wykrywająca lokalne wzorce niezależnie od położenia.

01GRUgated recurrent unitUproszczona bramkowana komórka rekurencyjna z bramką resetu i aktualizacji, łącząca stan i pamięć w jednym wektorze.
02LSTMlong short-term memoryKomórka rekurencyjna z bramkami i komórką pamięci, zaprojektowana do uczenia zależności długoterminowych mimo zanikającego gradientu.
03sieć rekurencyjna (RNN)RNN; recurrent neural networkArchitektura przetwarzająca sekwencje przez stan ukryty rekurencyjnie aktualizowany w kolejnych krokach czasowych.

01samouwagaself-attentionWariant uwagi, w którym zapytania, klucze i wartości pochodzą z tej samej sekwencji, modelując zależności między jej elementami.
02transformerArchitektura sekwencyjna oparta wyłącznie na mechanizmie uwagi, bez rekurencji, umożliwiająca równoległe przetwarzanie tokenów.
03uwaga wielogłowicowamulti-head attentionMechanizm wykonujący wiele równoległych operacji uwagi w różnych podprzestrzeniach reprezentacji i łączący ich wyniki.

01sieć głębokaSieć neuronowa z wieloma warstwami ukrytymi, ucząca hierarchiczne reprezentacje danych o rosnącym poziomie abstrakcji.

01normalizacja warstwowalayer normalizationNormalizacja aktywacji w obrębie pojedynczego przykładu po wymiarze cech, niezależnie od wsadu; standard w transformerach.
02połączenie rezydualneskip connection; residual connectionPominięcie warstw przez dodanie wejścia do ich wyjścia, ułatwiające propagację gradientu i trenowanie bardzo głębokich sieci.

01perceptronNajprostszy model sztucznego neuronu: liniowy klasyfikator binarny obliczający ważoną sumę wejść i progujący ją funkcją skokową.

01architektura koder-dekoderencoder-decoderSchemat sieci, w którym koder mapuje wejście na reprezentację pośrednią, a dekoder generuje z niej wyjście, typowy dla zadań sekwencja-do-sekwencji.

01perceptron wielowarstwowy (MLP)MLP; multilayer perceptronSieć neuronowa w pełni połączona z co najmniej jedną warstwą ukrytą i nieliniowymi aktywacjami, aproksymująca dowolną funkcję ciągłą.

01warstwa gęstawarstwa w pełni połączona; fully connectedWarstwa, w której każdy neuron jest połączony z wszystkimi wyjściami warstwy poprzedniej; realizuje przekształcenie afiniczne z aktywacją.
02warstwa ukrytaWarstwa neuronów między wejściem a wyjściem sieci, której aktywacje nie są bezpośrednio obserwowane i stanowią pośrednią reprezentację danych.