QonimAI — локальное протоколирование совещаний

QonimAI превращает короткую запись в транскрипт с голосами, саммари и поручения, которые пользователь проверяет и экспортирует в DOCX. Код, история и документация находятся только в репозитории хакатона.

Состояние перед сдачей: реализованы аудиомодуль, локальный анализатор, Streamlit, редактор и DOCX. Выполнен один сквозной прогон на вымышленной русской записи с ручной проверкой транскрипта. Это не подтверждает готовность всех требований: казахское и смешанное аудио не проверены; отдельные текстовые случаи отклоняются валидатором. Актуальные доказательства и ограничения — в LIVE_VERIFICATION.md.

Быстрый запуск: Windows / PowerShell

Проверенная платформа: Windows 11 x64, CPython 3.12.14, Intel Core i7-13620H, около 16 ГБ RAM, CPU без NVIDIA. Другие ОС и GPU в этой сдаче не проверены. Команды выполняются из корня клонированного репозитория; python должен указывать на установленный Python 3.12, а не заглушку Windows Store.

python --version
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install -r requirements-lock.txt
.\.venv\Scripts\python.exe scripts/setup_models.py
.\scripts\start-local.ps1

Первоначальная установка требует интернета. requirements-lock.txt фиксирует все проверенные зависимости; requirements-app.txt содержит основные зависимости. Скрипт подготовки скачивает около 3,1 ГБ весов и CPU-сборку llama.cpp; Python-пакеты и распаковка требуют дополнительного места. Ключи облачных API не нужны. Загрузка может занять существенно больше времени, чем обработка тестового примера.

После запуска откройте локальное приложение. Сервер анализа слушает только 127.0.0.1:8081, UI — 127.0.0.1:8501. Скрипт запуска включает offline-переменные библиотек и отключает телеметрию. Ctrl+C останавливает UI; сервер модели остаётся работающим, его PID записан в runtime/llama.pid. Перед остановкой сервера проверьте, что PID относится к запущенному вами llama-server.exe.

Первый проверяемый сценарий

1. Оставьте режим «Аудиозапись» и прочитайте уведомление об обработке ИИ.
2. Подтвердите разрешение на обработку. В блоке проверки вымышленной аудиозаписи отметьте, что используются синтезированные голоса, и нажмите «Испытать на синтетической аудиозаписи».
3. Выполняется настоящий вызов локального ASR и разделения голосов. Эталонные реплики и поручения не подставляются. Запись длится 29,018 секунды, содержит два синтезированных русских голоса; реальные люди не записывались.
4. Прослушайте запись и подтвердите имена голосов. Исправьте ошибки распознавания вручную: в проверенном запуске встречалось «Даньяр» вместо «Данияр». Сохраните подтверждения и текст.
5. Запустите выделение поручений и саммари. Сверьте результат с репликами: автор поручения не обязательно его исполнитель; неизвестные сроки должны остаться неизвестными.
6. При необходимости исправьте результат с объяснением. При изменении транскрипта или метаданных прежний анализ и ручные правки сохраняются в истории сеанса; историю можно явно скачать в JSON или удалить. Затем отдельно подтвердите проверку актуального снимка и просмотр перед экспортом; подготовьте и скачайте DOCX.

Режим «Синтетические примеры» отдельно показывает заранее подготовленные текстовые fixtures без запуска моделей; UI и DOCX это явно указывают. Его успех не является проверкой аудио или LLM. Подробности — инструкция интерфейса.

Своя запись: WAV/MP3/M4A/OGG, до 50 МиБ и 5 минут. Укажите участников и ожидаемое число говорящих; число кластеров задаётся пользователем. Для относительных сроков нужна известная дата встречи и IANA-зона. Если дата неизвестна, её нельзя заменять временем компьютера. Ошибки веса, формата, размера, длительности и результата показываются явно.

Архитектура и версии

Участок	Реализация
UI	Streamlit 1.64.0, app.py, ui_helpers.py
Русское / казахское / смешанное распознавание как целевая возможность	faster-whisper 1.2.1, многоязычный Whisper small, CPU int8; фактически проверена только русская синтетическая запись
Говорящие	sherpa-onnx 1.13.8, WeSpeaker ONNX embeddings и кластеризация в заданное число голосов
Саммари и поручения	Qwen3-4B-Q4_K_M, локальный llama.cpp b11125, CPU, JSON проходит строгий парсер
Контракты	contracts.py, analysis/model_output.py, схема qonimai.analysis.v1
DOCX	python-docx 1.2.0, локальный export_docx.py

audio.pipeline.transcribe(audio_path, meeting, participants, *, asr_model_path, speaker_model_path, num_speakers) возвращает транскрипт с {id, start, end, speaker_id, text}. Голоса первоначально не связаны с именами. analysis.local_model.analyze(transcript, *, base_url, model, timeout) вызывает только локальный анализатор и проверяет его JSON. export_docx(...) принимает актуальный, просмотренный пользователем снимок. Полная схема и правила сроков/исправлений — контракт v1.

app.py / ui_helpers.py      интерфейс, состояние, проверка пользователем
 audio/pipeline.py         локальное аудио → текст и голоса
 analysis/local_model.py   локальный текст → саммари и поручения
 analysis/model_output.py  проверка сырого JSON модели
 contracts.py              структура, ссылки, сроки, версии, ручные правки
 export_docx.py             проверенный снимок → DOCX
 fixtures/                 только вымышленные контрольные примеры
 scripts/                  подготовка весов, локальный запуск, smoke
 tests/                    автоматические и Streamlit AppTest-проверки
 docs/submission/          приёмка, ограничения и доказательства сдачи

Получение моделей и лицензии

scripts/setup_models.py фиксирует ревизии Whisper/Qwen, версию llama.cpp и проверяет SHA-256 основных весов/архива. Источники: faster-whisper-small, Qwen3-4B-GGUF, sherpa-onnx, llama.cpp. Лицензия Qwen загружается рядом с весами; карточки и условия остальных компонентов нужно учитывать перед применением вне хакатона. Состав и контрольные суммы записываются в models/download-manifest.json.

Каталоги models/, runtime/, .venv/ не входят в Git. Приложение не вызывает загрузчик весов: сначала отдельная подготовка, затем обработка. Qwen 1.5B проверяли как более лёгкий вариант и отклонили из-за ошибок содержания; он не является подтверждённым рабочим запасным вариантом.

Проверки и воспроизводимость

.\.venv\Scripts\python.exe -m unittest discover -s tests -p 'test_*.py'
.\.venv\Scripts\python.exe scripts/smoke_local.py --help

Последний зафиксированный общий прогон: 305 тестов, 303 прошли, 2 пропущены. Пропуски относятся к проверке настоящего отсутствия базы IANA, которая в рабочей среде установлена. Это результат данного прогона, а не обещание неизменного числа тестов при дальнейших изменениях. Лог.

Чистая .venv-clean установлена из 56 заранее подготовленных wheels с --no-index; установка заняла 24,761 с, pip check, импорты и тесты прошли. Отчёт. Для повторения на совместимой Windows/Python машине заранее подготовьте wheels:

.\.venv\Scripts\python.exe -m pip download --only-binary=:all: -r requirements-lock.txt -d runtime/wheels
python -m venv .venv-clean
.\.venv-clean\Scripts\python.exe -m pip install --no-index --find-links runtime/wheels -r requirements-lock.txt
.\.venv-clean\Scripts\python.exe -m pip check
.\.venv-clean\Scripts\python.exe -m unittest discover -s tests -p 'test_*.py'

В измеренном русском TTS-прогоне: ASR и голоса — 101,111 с, 6 реплик и совпадение голосов 6/6 на этом единственном примере; после явной ручной проверки транскрипта анализ — 68,86 с, 3/3 ожидаемых поручения. Общее время с ручной проверкой не измерено. Исходный ASR, исправления и выход модели сохранены отдельно в evidence. Это не оценка качества на реальных совещаниях. Визуально проверены все 8 страниц двух контрольных DOCX и 3 страницы итогового документа: обрезаний не выявлено, казахские символы отображаются.

Данные, ограничения и сдача

Реальные записи, транскрипты и протоколы запрещено передавать во внешние API, ИИ-чаты, GitHub или Live Share. Работайте с ними отдельно от общей папки проекта. Уведомляйте участников о записи и обработке ИИ. Модель может пропустить поручение или придумать факт; успешная структурная проверка не заменяет человеческую. Политика — DATA_AND_LIMITATIONS.md.

Казахская и смешанная речь на аудио ещё не проверены. На текущем промпте отдельные KK_EXPLICIT и TOMORROW_YEAR отклонялись валидатором; стабильность анализа не подтверждена. Короткие/перекрывающиеся реплики и имена требуют проверки. Подключение к Teams/Zoom/Meet, live-поток и напоминания отсутствуют; их обязательность нужно уточнить у организаторов. Полное исходное Google Docs ТЗ ранее открыть не удалось.

Сеть ОС физически не отключалась: подготовленные зависимости, offline-переменные и проверки сетевых обращений не заменяют отдельный запуск всего приложения при отключённом внешнем интернете. Не заявляем полную offline-приёмку или качество трёх языковых режимов.

Перед сдачей используйте LIVE_VERIFICATION, чек-лист и демосценарий. Старые отчёты REVIEW_AGENT_B_01..03 и ранний DOCX_REPORT описывают состояние до интеграции; актуальность определяют текущий код и итоговая приёмка. Для продолжения работы — PROJECT_STATE.md, роли команды — TEAM_GUIDE.md.