m/llm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
8a6610f30cf609f5b48b12977825823e221c8983
llm/core/monitoring
T
History

README.md

Core Monitoring

Мониторинг должен покрывать:

  • использование GPU и VRAM;
  • время ответа;
  • ошибки инференса;
  • количество запросов;
  • версии используемых моделей;
  • результаты eval-прогонов.
Reference in New Issue View Git Blame Copy Permalink