pamięć podręczna KV
KV cache
Bufor przechowujący klucze i wartości z poprzednich kroków uwagi w transformerze, by uniknąć ich ponownego liczenia podczas generacji.
Karta hasła
- typobiekt
- nadrzstruktura optymalizacji inferencji
- kat.AI / Machine Learning · AI / ML / DL / NLP · Inferencja wdrozenie i kompresja
- grupaInferencja wdrozenie i kompresja
Zobacz też
- pamięć podręczna KVinferencja
- pamięć podręczna KVgrupowanie wsadowe
Powiązane pojęcia · AI / ML / DL / NLP
- 01kalibracjacalibrationZgodność deklarowanych prawdopodobieństw modelu z empiryczną częstością zdarzeń; dobrze skalibrowany model ma trafne oceny pewności.
- 02czułośćrecall / sensitivityUdział poprawnie wykrytych przypadków pozytywnych wśród wszystkich rzeczywistych pozytywów; mierzy zdolność wykrywania klasy docelowej.
- 03miara F1F1-scoreŚrednia harmoniczna precyzji i czułości, łącząca obie w jedną wartość; szczególny przypadek miary F dla równej wagi.
- 04precyzjaang. precisionUdział poprawnych wskazań klasy pozytywnej wśród wszystkich wskazań tej klasy; mierzy frakcję trafnych spośród przewidzianych pozytywów.
- 05AUCArea Under the CurvePole pod krzywą ROC; prawdopodobieństwo, że losowy pozytyw otrzyma wyższą ocenę niż losowy negatyw, miara separowalności klas.
- 06krzywa ROCReceiver Operating CharacteristicWykres odsetka trafień względem odsetka fałszywych alarmów przy zmiennym progu decyzyjnym klasyfikatora binarnego.