Inferencja wdrozenie i kompresja

Name: lok-ai — Lokalna Automatyzacja Biznesu
Address: Grudziądz, kujawsko-pomorskie, PL
Telephone: +48-534-541-454
Price range: $$

23 pojęć w 11 podgrupach, z prostymi definicjami i źródłami.

Destylacja · 2

01destylacja wiedzyTrening mniejszego modelu (ucznia), by naśladował wyjścia większego modelu (nauczyciela), przenosząc jego wiedzę przy mniejszym koszcie.
02model nauczycielateacher modelWiększy, dokładny model, którego wyjścia stanowią cel uczenia dla mniejszego modelu w destylacji wiedzy.

01inferencjaFaza użycia wytrenowanego modelu do obliczenia predykcji na nowych danych wejściowych, bez aktualizacji wag.

01dekodowanie spekulatywnespeculative decodingPrzyspieszanie generacji przez model pomocniczy proponujący kilka tokenów naraz, które główny model weryfikuje jednym przebiegiem.
02pamięć podręczna KVKV cacheBufor przechowujący klucze i wartości z poprzednich kroków uwagi w transformerze, by uniknąć ich ponownego liczenia podczas generacji.

01kwantyzacjaRedukcja precyzji liczbowej wag i aktywacji modelu (np. z FP32 na INT8) w celu zmniejszenia rozmiaru i przyspieszenia obliczeń.
02kwantyzacja binarnabinaryzacjaSkrajna kwantyzacja, w której wagi lub aktywacje przyjmują jedynie dwie wartości, drastycznie redukując pamięć i koszt obliczeń.
03kwantyzacja potreningowaPTQ (post-training quantization)Kwantyzacja stosowana do gotowego, wytrenowanego modelu bez ponownego uczenia, zwykle z użyciem małego zbioru kalibracyjnego.
04kwantyzacja świadoma treninguQAT (quantization-aware training)Technika symulująca efekty kwantyzacji podczas treningu, by model nauczył się odporności na obniżoną precyzję.

01faktoryzacja niskorzędowaAproksymacja macierzy wag iloczynem macierzy o niższym rzędzie, redukująca liczbę parametrów i operacji.

01latencja inferencjiCzas od podania wejścia do otrzymania predykcji modelu dla pojedynczego zapytania.
02przepustowośćthroughputLiczba zapytań lub tokenów przetwarzanych przez system inferencji w jednostce czasu.

01dryf modelumodel driftDegradacja jakości predykcji wdrożonego modelu w czasie wskutek zmiany rozkładu danych wejściowych względem treningowych.

01przycinaniepruningUsuwanie nadmiarowych wag, neuronów lub kanałów sieci, by zmniejszyć liczbę parametrów i koszt obliczeniowy przy zachowaniu jakości.
02rzadkośćsparsityWłasność modelu, w którym znaczna część wag ma wartość zero, co umożliwia kompresję i przyspieszenie obliczeń rzadkich.

01akceleracja sprzętowaWykonywanie obliczeń modelu na wyspecjalizowanych układach (GPU, TPU, NPU) zamiast CPU, dla większej wydajności.
02fuzja operatorówoperator fusionŁączenie kilku kolejnych operacji grafu w jedno jądro obliczeniowe, redukujące transfery pamięci i narzut wywołań.
03graf obliczeniowySkierowany graf reprezentujący operacje i przepływ danych w modelu, podstawa do wykonania i optymalizacji obliczeń.
04kompilator uczenia maszynowegoSystem przekształcający model wysokiego poziomu w zoptymalizowany kod wykonywalny dla docelowego sprzętu.

01dynamiczne grupowanie wsadowedynamic batchingTworzenie wsadów w locie z napływających zapytań w oknie czasowym, równoważące latencję i przepustowość przy zmiennym ruchu.
02grupowanie wsadowebatchingŁączenie wielu zapytań w jeden wsad przetwarzany razem, by lepiej wykorzystać równoległość sprzętu i zwiększyć przepustowość.
03serwowanie modelimodel servingUdostępnianie wytrenowanego modelu jako usługi obsługującej zapytania predykcyjne w produkcji.

01inferencja brzegowaedge inferenceWykonywanie modelu lokalnie na urządzeniu końcowym blisko źródła danych, bez wysyłania ich do chmury.