hack-4b8f7014-team

Hackathon team repository for Юфсшники

Система автопротоколирования совещаний

Локальный прототип для кейса Самрук-Казына: запись совещания → транскрипт на русском, казахском и смешанном языке → говорящие → поручения, ответственные, сроки → саммари и протокол DOCX/PDF. Аудио и текст не должны передаваться во внешние облачные API.

Текущий результат — первый интегрированный прототип. Добавлены очередь SQLite, отдельный worker, адаптеры локальных моделей, проверка поручений и DOCX/PDF. Для реального распознавания нужны модели и полный набор зависимостей. Проведено небольшое сравнение RU/KZ на шести открытых записях: результаты. Полная оценка качества на совещаниях и смешанной речи ещё не завершена. Тесты конвейера используют тестовые адаптеры, а не настоящие модели. Актуальный запуск обработки и ограничения: PIPELINE.md. Установка готовых моделей и результаты первого реального запуска компонентов: LOCAL_MODELS.md.

Быстрый запуск без моделей

Python 3.11+ (проверка основы выполнена на Python 3.12). Из корня репозитория:

python -m venv .venv
# Linux/macOS:
source .venv/bin/activate
# Windows PowerShell вместо предыдущей строки:
# .venv\Scripts\Activate.ps1
python -m pip install -r requirements-dev.txt
python -m uvicorn app.main:create_app --factory --host 127.0.0.1 --port 8000

Во втором терминале активируйте то же окружение:

python -m streamlit run app/ui.py

Откройте интерфейс и API документацию. Загрузите запись, добавьте ручное поручение, назначьте ответственного и срок, измените статус. Перезапуск сохраняет данные. Для настройки скопируйте .env.example в .env. Оба процесса запускаются из корня репозитория. Порт API интерфейса фиксирован: 8000.

Допускаются WAV, MP3, M4A, OGG, FLAC, MP4, MOV, WEBM, MKV, до 200 MiB по умолчанию. Сервер сохраняет поток под UUID, удаляет частичный файл при ошибке. Сейчас проверяются расширение, непустой размер и лимит; фактический медиаконтейнер ещё не декодируется. При изменении лимита синхронизируйте .env, Streamlit и будущий reverse proxy.

Структура

app/
  main.py        FastAPI и загрузки
  ui.py          Streamlit и dashboard
  config.py      локальные настройки
  schemas.py     контракт транскрипта, поручений и протокола
  storage.py     SQLite repository
  pipeline.py    интерфейсы STT, диаризации, извлечения и экспорта
models/          локальные веса (исключены из Git)
static/          локальные ресурсы и шрифты
templates/       место для шаблонов DOCX/PDF
data/            приватные файлы и SQLite (исключены из Git)
docs/            архитектура, требования, on-prem
tests/           проверки API и хранения

Локальные модели и зависимости

requirements-core.txt — запускаемая основа; requirements.txt добавляет faster-whisper, pyannote.audio, Ollama client, python-docx и ReportLab. Установите полный набор для следующего этапа: python -m pip install -r requirements.txt. Нужны также FFmpeg и локальный сервер Ollama (Python-клиент сервер не устанавливает). Torch/torchcodec и GPU-драйверы подбираются под платформу по документации pyannote. Полный конвейер проверен на локальных русских примерах; диапазоны версий не являются lock-файлом. Перед демо зафиксируйте разрешённые версии и проверьте их на целевой машине.

Подготовка пакетов и весов может требовать интернета и принятия лицензий; обработка записей после подготовки должна выполняться без сети. См. модели и развёртывание. Выбор модели не гарантирует качество казахского или смешанной речи: нужны собственные тестовые записи и оценка.

API

Метод	Путь	Назначение
GET	/health	доступность основы; не готовность моделей
POST	/meetings	multipart поле file
GET	/meetings	список записей
POST	/meetings/{id}/process	очередь; JSON language/meeting_date
GET/PUT	/meetings/{id}/minutes	протокол / проверка саммари и имён
GET	/meetings/{id}/export/{format}	PDF или DOCX
PUT	/tasks/{id}	проверка и редактирование поручения
POST	/meetings/{id}/tasks	ручное поручение для проверки
GET	/tasks	dashboard и вычисленный статус overdue
PATCH	/tasks/{id}	статус pending / in_progress / completed

Даты — ISO YYYY-MM-DD, просрочка вычисляется по локальной дате сервера. Относительные сроки в будущем разрешаются относительно даты и часового пояса совещания, а не запуска модели.

Проверки

python -m pytest -q
python -m ruff check app tests

Проверки не скачивают модели и не отправляют данные наружу. Проверяются сохранение после перезапуска, лимиты загрузки, недопустимые файлы, безопасные имена, CRUD статусов и 501. Качество настоящих STT/диаризации/LLM пока не измерено; тесты не заменяют прогон с весами.

План по ТЗ

1. FFmpeg → mono 16 kHz WAV, persistent job со статусами queued/running/completed/failed.
2. faster-whisper: мультиязычный STT; pyannote: диаризация и временное совмещение реплик.
3. Ручное сопоставление SPEAKER_00 с участником, затем локальный LLM с JSON Schema: саммари, поручение, ответственный, срок и цитата-основание. Проверка человеком обязательна.
4. DOCX/PDF с RU/KZ шрифтом, предварительный просмотр и проверка экспорта.
5. Дополнения: срочность/направление, напоминания, локальная рассылка и СЭД.

Подробная матрица требований и архитектура. Для демо используйте анонимизированные или синтетические RU/KZ/смешанные записи; участники должны быть уведомлены о записи и ИИ-транскрибации.

Многоэтапная проверка поручений, профиль Qwen3 и ограничения оценки: QUALITY_PIPELINE.md.

Живой режим

Windows: захват системного звука Teams/Zoom, промежуточный текст и черновые поручения, итоговая обработка после остановки. Настройка и ограничения.