AI / Machine Learningcecha

latencja inferencji

Czas od podania wejścia do otrzymania predykcji modelu dla pojedynczego zapytania.

Typ
cecha
Pojęcie nadrzędne
metryka wydajności inferencji
Źródło
Reddi i in., MLPerf Inference Benchmark (ISCA 2020)

Chcesz wykorzystać AI w swojej firmie?

Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.

Bezpłatna konsultacja