MeetingMind — автопротоколирование совещаний

Локальный AI-инструмент для превращения аудиозаписи совещания в готовый протокол: транскрипт, краткое саммари, поручения, ответственные, сроки и экспорт в DOCX/PDF/JSON.

Проект создан для HackAlem AI. Все основные операции выполняются на компьютере пользователя: аудио и текст не отправляются во внешние облачные API.

Что умеет приложение

• принимает записи MP3, WAV, M4A и MP4;
• распознаёт русскую, казахскую и смешанную речь через локальную модель Faster-Whisper;
• поддерживает автоматическое определение языка и ручной выбор языка записи;
• формирует транскрипт с временными метками;
• разделяет реплики по спикерам и создаёт метки SPEAKER_00, SPEAKER_01 и далее;
• пытается определить число спикеров автоматически при настроенной локальной модели pyannote;
• использует локальный fallback, если полноценная диаризация недоступна;
• позволяет вручную сопоставить технические метки с ФИО участников;
• находит поручения, ответственных и сроки по содержанию разговора;
• формирует краткое саммари совещания;
• показывает оценку качества протокола и предупреждения о возможных ошибках;
• позволяет исправить транскрипт и пересчитать поручения;
• формирует локальные напоминания ответственным;
• экспортирует протокол в DOCX, PDF и структурированный JSON;
• поддерживает необязательный локальный анализ через Ollama.

Быстрый запуск на Windows

Откройте командную строку и перейдите в папку, где находится этот репозиторий:

cd /d "путь\к\hack-6776da01-qwerty"

Создайте виртуальное окружение и установите зависимости:

py -m venv .venv
call .venv\Scripts\activate
python -m pip install -r requirements.txt

Запустите веб-интерфейс:

python -m streamlit run app\main.py

После запуска откройте адрес http://localhost:8501.

При первом использовании Faster-Whisper скачает выбранную модель в локальный кэш. Для обычного CPU рекомендуется модель small; medium обычно точнее, но заметно медленнее и требует больше памяти.

Как пользоваться

1. Загрузите аудиозапись совещания.
2. Подтвердите, что участники уведомлены о записи и локальной обработке.
3. Выберите размер модели и язык записи.
4. Оставьте режим Авто: pyannote + fallback или включите демо-разметку для презентации.
5. Нажмите Создать протокол.
6. Проверьте саммари, транскрипт, имена спикеров, поручения и сроки.
7. При необходимости измените строки транскрипта или статусы задач.
8. Используйте вкладки Результат, Транскрипт и Экспорт.
9. Скачайте DOCX, PDF или JSON на вкладке Экспорт.

Интерфейс

По умолчанию открывается тёмная тема MeetingMind. В боковой панели можно переключиться на светлую тему. На главном экране отображаются локальный статус обработки, загрузка новой записи и краткое описание форматов результата.

Демо-режим спикеров

Демо-разметка по очереди циклически назначает сегментам выбранное количество меток SPEAKER_00–SPEAKER_05. Этот режим нужен для демонстрации интерфейса и не является настоящим определением голоса.

Для реального определения говорящих используйте автоматический режим. Он пытается применить pyannote, а при отсутствии настроенной модели использует локальный акустический fallback. Даже при успешном разделении голоса имена участников нужно проверить вручную.

Необязательный локальный AI-анализ

Для более глубокого извлечения поручений можно установить Ollama и модель, работающую на этом же компьютере:

ollama pull qwen2.5:7b

Запустите Ollama, включите в боковой панели Умный локальный анализ, затем сформируйте протокол. Если Ollama недоступна, приложение автоматически использует встроенный детерминированный анализатор.

Ожидаемый локальный адрес Ollama: http://127.0.0.1:11434.

Полноценная локальная диаризация

Для более точного определения числа и границ реплик можно отдельно установить pyannote.audio, локальную модель и настроить токен доступа к checkpoint:

pip install pyannote.audio
set HF_TOKEN=ваш_токен

Токен нужен только для загрузки разрешённого checkpoint в локальный кэш. Само аудио приложение не отправляет в облако. Установка pyannote тяжёлая и не обязательна для запуска MVP.

Архитектура

app/main.py                 Streamlit-интерфейс и сценарий пользователя
app/transcription.py        Faster-Whisper, язык, сегменты и спикеры
app/analyzer.py             Поручения, ответственные, сроки, саммари
app/local_llm.py            Необязательный вызов Ollama на localhost
app/quality/                Проверка полноты и качества протокола
app/privacy/                Локальная анонимизация текста
app/exporter.py             Экспорт в DOCX
app/pdf_exporter.py         Экспорт в PDF с поддержкой кириллицы
tools/                      Служебные скрипты и проверка демо-данных
samples/                    Небольшой обезличенный пример транскрипта

Поток обработки:

Аудио → локальная транскрибация → диаризация → анализ поручений
      → саммари и контроль качества → ручная проверка → DOCX/PDF/JSON

Проверка без запуска интерфейса

Проверить встроенный анализатор на демонстрационном протоколе:

py tools\evaluate_demo.py samples\expected\demo_protocol.json

Получить текстовую расшифровку локального аудиофайла:

py -c "from app.transcription import transcribe_audio, segments_to_text; print(segments_to_text(transcribe_audio('meeting.mp3', 'small')))"

Конфиденциальность

• аудио, транскрипт и созданные документы остаются локально;
• внешние API для распознавания и анализа не используются;
• локальные голосовые профили сохраняются только в data/voice_profiles.json;
• секреты и локальные данные не должны добавляться в Git;
• перед обработкой пользователь должен уведомить участников записи.

Подробности: docs/privacy.md.

Ограничения MVP

• распознавание зависит от качества записи, шума и смешения голосов;
• fallback-диаризация является эвристикой и может ошибаться на длинных репликах и похожих голосах;
• SPEAKER_XX — техническая метка, а не подтверждённая личность;
• автоматическое извлечение поручений требует проверки человеком перед отправкой;
• для CPU модель medium может работать долго;
• полноценная pyannote-диаризация и голосовые профили требуют дополнительной установки тяжёлых зависимостей.

Поэтому приложение специально показывает предупреждения качества и оставляет пользователю финальную проверку протокола.

Лицензия и статус

Прототип для хакатона HackAlem AI. Перед промышленным внедрением потребуются тестовый набор записей, оценка качества распознавания, разграничение доступа и интеграция с корпоративной СЭД.