Проект VisionPilot — это система автопилота для одноплатного компьютера Orange Pi, использующая компьютерное зрение и протокол CRSF для управления дистанционным управлением. Основные задачи проекта — захват и обработка видеопотока, детекция объектов с помощью модели YOLO и передача управляющих команд через UART.
- Захват видеопотока с камеры с использованием OpenCV.
- Обработка изображений и детекция объектов с помощью модели YOLO.
- Передача данных управления по протоколу CRSF через UART.
- Реализация потоковой обработки для автономного управления.
- Интеграция с RKNN Toolkit для оптимизации работы на платформе Orange Pi.
CAMV2.py— модуль захвата видео и детекции объектов.uartTOuartV2.py— модуль передачи данных по UART с поддержкой протокола CRSF.RKNN.py— модуль для работы с RKNN Toolkit (оптимизация и запуск нейросетевых моделей).offsets.json— файл для обмена параметрами смещения и углов между модулями.
-
Клонируйте репозиторий:
git clone https://github.com/VohminV/VisionPilot.git cd VisionPilot -
Запустите захват и обработку видеопотока:
python CAMFPV.py
-
Запустите модуль передачи данных по UART:
python uartTOuart.py
- Orange Pi 5 или аналогичная одноплатная система с поддержкой RKNN.
- Камера, совместимая с OpenCV.
- Python 3.7+.
- Пакеты: OpenCV, numpy, serial, threading, ultralytics.
- Оптимизация моделей для повышения производительности.
- Улучшение обработки ошибок и логирования.
- Добавление поддержки других протоколов управления.
- Разработка GUI для удобного мониторинга и настройки.
Проект распространяется под лицензией MIT.
- Для вопросов и предложений создавайте issue или пишите на email: vohmin3@yandex.ru
- Discord канал https://discord.gg/V2quvqz9S6
Спасибо за интерес к проекту VisionPilot!