AI / Machine Learningcecha

przepustowość

throughput

Liczba zapytań lub tokenów przetwarzanych przez system inferencji w jednostce czasu.

Typ
cecha
Pojęcie nadrzędne
metryka wydajności inferencji
Źródło
Reddi i in., MLPerf Inference Benchmark (ISCA 2020)

Chcesz wykorzystać AI w swojej firmie?

Wdrażamy chatboty, agentów głosowych i automatyzacje dla MŚP. Pierwsza konsultacja jest bezpłatna.

Bezpłatna konsultacja