Initial SQL-only 1C adapter baseline

This commit is contained in:
2026-07-22 03:03:47 +03:00
commit e2503b77e7
545 changed files with 184711 additions and 0 deletions
+81
View File
@@ -0,0 +1,81 @@
# Download Model
Цель: загрузить модель из Hugging Face в локальное хранилище, не помещая веса модели в git.
## Install Dependencies
```powershell
pip install -r requirements.txt
```
## Dry Run
```powershell
python scripts/download_hf_model.py qwen3-4b-instruct-2507 --dry-run
```
## Download
На хосте, где доступен путь `/models`:
```powershell
python scripts/download_hf_model.py qwen3-4b-instruct-2507
```
Если команда запускается на Windows, а в model card указан Linux-путь `/models/...`, реальная загрузка без `--local-dir` будет остановлена. Это защита от случайной загрузки в неправильный локальный каталог.
Для закрытой модели токен передается через окружение:
```powershell
$env:HF_TOKEN="..."
python scripts/download_hf_model.py qwen3-4b-instruct-2507
```
Не сохраняйте токен в репозитории, `.env` или model card.
## Resume Large Files
Если сеть рвет большие файлы, используйте range-загрузчик. Он докачивает файл с текущего размера и проверяет итоговый размер по Hugging Face metadata.
```powershell
python scripts/download_hf_range.py qwen3-4b-instruct-2507 `
--local-dir models/base/qwen3-4b-instruct-2507 `
--allow-file model-00001-of-00003.safetensors `
--allow-file model-00002-of-00003.safetensors `
--chunk-size 16mb `
--retries 20
```
Эту команду можно запускать повторно до полного завершения.
## Override Path
Если нужно скачать в другой каталог:
```powershell
python scripts/download_hf_model.py qwen3-4b-instruct-2507 --local-dir D:\models\base\qwen3-4b-instruct-2507
```
## Registry Index
После добавления или изменения карточек моделей:
```powershell
python scripts/build_model_index.py
```
## Check Local Storage
Проверить, какие модели полностью скачаны, частично скачаны или отсутствуют:
```powershell
python scripts/check_model_storage.py --print
```
В обычном `check_all` эта проверка работает как warning, потому что часть моделей и адаптеров может быть запланирована, но еще не загружена.
Для текущего состояния всей платформы:
```powershell
python scripts/collect_platform_status.py --print
```