Прототип веб-игры для изучения иностранных слов с элементами дополненной реальности (AR) и голосовым управлением.
Игрок видит слово на русском языке и должен произнести его перевод на английском. При правильном ответе персонаж бежит вперед по 3D-дороге к следующему уровню.
- AR-режим: Фон игры — это изображение с вашей веб-камеры.
- Голосовое управление: Используется нейросеть OpenAI Whisper (Large v3 Turbo) через Hugging Face Inference API для точного распознавания речи.
- 3D-графика: Визуализация на базе Three.js (бесконечная дорога, ворота, анимированные 3D-аватары из эмодзи).
- Игровая механика: Прохождение уровней, анимация "раннера", эффекты частиц (салюты).
- Backend: Python 3.10+, FastAPI.
- Frontend: HTML5, CSS3, JavaScript (Vanilla), Three.js (через CDN).
- AI/ML: Hugging Face Inference API.
- Audio: Pydub (для конвертации WebM -> FLAC).
- Python 3.10+
- FFmpeg: Необходим библиотеке
pydubдля обработки аудио.- Windows: Скачайте build, добавьте папку
binв системную переменную PATH. - Linux:
sudo apt install ffmpeg - MacOS:
brew install ffmpeg
- Windows: Скачайте build, добавьте папку
# Клонируйте репозиторий (если есть) или перейдите в папку проекта
cd TranslatorVoiceGame
# Создайте виртуальное окружение
python -m venv venv
# Активируйте окружение
# Windows:
venv\Scripts\activate
# Linux/Mac:
source venv/bin/activate
# Установите зависимости
pip install -r requirements.txtДля работы распознавания речи нужен токен Hugging Face (бесплатный).
- Зарегистрируйтесь на huggingface.co.
- Создайте токен доступа (Access Token) в настройках профиля (тип
Read). - Создайте файл
.envв корне проекта и добавьте туда токен:
HF_TOKEN=hf_ВашТокенЗдесьpython main.pyСервер запустится по адресу: http://localhost:8000
- Откройте
http://localhost:8000в браузере. - Разрешите доступ к микрофону и камере.
- Посмотрите на слово в верхней части экрана (например, "кошка").
- Нажмите красную кнопку "ГОВОРИТЬ" (она изменится на "СТОП").
- Четко произнесите перевод на английском (например, "Cat").
- Нажмите кнопку "СТОП".
- Если ответ верный — вы побежите к следующему уровню!
main.py— Серверная часть (FastAPI), обработка аудио, API Hugging Face.static/index.html— Верстка приложения.app.js— Логика игры, 3D-сцена (Three.js), запись звука.
requirements.txt— Список Python-зависимостей.
Прототип разработан с помощью AI-ассистента.