AI / Machine Learningobiekt

token

Podstawowa jednostka przetwarzania tekstu przez model — fragment słowa, słowo lub znak, na które dzielony jest tekst wejściowy.

Typ
obiekt
Pojęcie nadrzędne
jednostka leksykalna
Źródło
Jurafsky, Martin, Speech and Language Processing, 3rd ed.

Zobacz też

Chcesz wykorzystać AI w swojej firmie?

Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.

Bezpłatna konsultacja