Nr 01 · Słownik · AI / Machine Learning · AI / ML / DL / NLP

NLP i jezyk

20 pojęć w 12 podgrupach, z prostymi definicjami i źródłami.

Analiza semantyczna · 2

  • 01rozwiązywanie koreferencjicoreference resolutionWskazywanie wyrażeń w tekście, które odnoszą się do tej samej encji w świecie rzeczywistym.
  • 02ujednoznacznianie sensu słówWSDOkreślanie właściwego znaczenia wieloznacznego słowa w danym kontekście spośród jego możliwych sensów.

Analiza skladniowa · 2

  • 01oznaczanie części mowyPOS taggingPrzypisywanie każdemu słowu w tekście etykiety gramatycznej kategorii (rzeczownik, czasownik itd.) na podstawie kontekstu.
  • 02parsing składniowyAnaliza zdania prowadząca do wyznaczenia jego struktury gramatycznej w postaci drzewa zależności lub drzewa składników.

Architektury NLP · 1

  • 01model sekwencja-do-sekwencjiseq2seqArchitektura przekształcająca wejściową sekwencję w wyjściową o potencjalnie innej długości, złożona z kodera i dekodera.

Ekstrakcja informacji · 2

  • 01ekstrakcja informacjiAutomatyczne wydobywanie ustrukturyzowanych danych (encji, relacji, zdarzeń) z tekstu nieustrukturyzowanego.
  • 02rozpoznawanie nazw własnychNERWykrywanie i klasyfikowanie w tekście fragmentów odnoszących się do encji nazwanych, takich jak osoby, organizacje czy miejsca.

Ewaluacja NLP · 1

  • 01perpleksjaperplexityMiara jakości modelu językowego wyrażająca, jak bardzo model jest zaskoczony danymi testowymi; niższa wartość oznacza lepsze dopasowanie.

Generowanie tekstu · 1

  • 01tłumaczenie maszynoweMTAutomatyczne przekładanie tekstu lub mowy z jednego języka naturalnego na inny za pomocą metod obliczeniowych.

Klasyfikacja semantyczna · 2

  • 01analiza wydźwiękusentiment analysisOkreślanie nacechowania emocjonalnego lub postawy (pozytywnej, negatywnej, neutralnej) wyrażonej w tekście.
  • 02klasyfikacja tekstuPrzypisywanie dokumentów lub fragmentów tekstu do z góry zdefiniowanych kategorii na podstawie ich treści.

Modele statystyczne · 2

  • 01modelowanie tematówtopic modelingNienadzorowane odkrywanie ukrytych tematów w zbiorze dokumentów jako rozkładów prawdopodobieństwa nad słowami.
  • 02n-gramCiągła sekwencja n elementów (słów lub znaków) wyodrębniona z tekstu, używana do modelowania statystycznego języka.

Podstawy NLP · 1

  • 01przetwarzanie języka naturalnegoNLPDział sztucznej inteligencji zajmujący się automatyczną analizą i generowaniem tekstu oraz mowy w językach ludzkich za pomocą metod obliczeniowych.

Przetwarzanie wstepne · 3

  • 01lematyzacjaSprowadzanie form wyrazowych do ich podstawowej formy słownikowej (lematu) z uwzględnieniem kontekstu morfologicznego.
  • 02stemmingHeurystyczne obcinanie końcówek wyrazów do wspólnego rdzenia, bez gwarancji poprawności słownikowej wyniku.
  • 03tokenizacja podsłownaBPEPodział słów na częstsze podjednostki, łączący zalety reprezentacji znakowej i wyrazowej oraz ograniczający problem słów spoza słownika.

Reprezentacje semantyczne · 2

  • 01TF-IDFMiara wagi terminu łącząca częstość jego występowania w dokumencie z odwrotną częstością w całym korpusie (term frequency-inverse document frequency).
  • 02worek słówbag of wordsReprezentacja tekstu jako zbioru częstości występowania słów z pominięciem ich kolejności i struktury składniowej.

Zasoby jezykowe · 1

  • 01korpus językowyDuży, uporządkowany zbiór tekstów lub nagrań mowy gromadzony do badań lingwistycznych i trenowania modeli.

Pozostałe grupy — AI / ML / DL / NLP

Grupa pojęć · AI / ML / DL / NLP20 haseł