321 B
321 B
Core Monitoring
Мониторинг должен покрывать:
- использование GPU и VRAM;
- время ответа;
- ошибки инференса;
- количество запросов;
- версии используемых моделей;
- результаты eval-прогонов.