sg2002/rk3588平台的小车的自动捡球应用的开发纪要

[elliott10]

2025-04-29 sg2002/rk3588平台的Starry开发测试讨论

sg2002的开发测试讨论

sg2002板子当前的测试仓库，还是基于旧的starry，包括pwm机械臂试验，摄像头试验等；

陈老师表示需要尽早合进tgoskits的dev分支；

sg2002测试相关的设备及线缆已经在采购中了；测试环境的具体事宜还需与zcs老师进一步沟通；

djb提到需要在sg2002上的linux运行usb摄像头的支持包括代码及文档，yjb讲到需要对V4L2摄像头框架重新编译一下；

陈老师强调需加强多方协作开发，以及设备使用的安全性需多注意；

讨论到sg2002的自动化测试方案，包括：

• 自动重启方式：

1. 通过xiaomi智能开关，联网后，去访问开关的网络api，实现远程的开关机；
2. 继电器物理重启；
3. sg2002中的小核支持运行了freertos, 并实现了开关机的功能，需要一个额外的串口来控制；

• 自动加载内核镜像的方式：

1. 使用带以太网口的板子，连接网线通过tftp加载待测的starry内核镜像
2. 改进u-boot并集成wifi驱动后，通过wifi网络来加载待测的starry内核镜像；
3. 待测的内核镜像通过板子自带的linux系统来传内核镜像文件，传完后再重启进入到starry，不过这个方案耗时更长一些；

rk3588的开发测试讨论

• wl目前在对rk3588的uvc摄像头继续进行优化；
• zl在对rk3588的usb进行调试工作；

[elliott10]

sg2002开发情况汇总

TPU模型推理

• 在sg2002板子上，优化的int8模型，Linux推理耗时从200ms降到了39ms;
  Update: 现在pzc已经移植到了tgoskits上；

摄像头图像采集

usb摄像头

• 李老师表示，小车使用usb摄像头更方便学习和调试，还能连接PC显示；
• sg2002 usb摄像头基于Linux系统，可以获取摄像头图像，约15fps；
• yjb在arceos上调试usb摄像头，大约70~100ms获取一帧；并说到有色彩不准的问题；

Update：待移植到Starry

esp32摄像头

• sg2002 通过uart连接esp32摄像头，基于Linux抓球平均7.6fps(130ms)，优化后10fps(100ms)； Update: 正在调试推进
• 基于Starry抓球的平均帧率3.6fps, 主要原因是摄像头传输比较慢；
• djx在复现esp32摄像头方案，并在看esp32摄像头的一个并发的bug问题；
  Update: djx通过将mutex替换成spinlock（关中断），通过了死锁的问题；

代码向tgoskits合并方面

• 基于yjb更新的新版本sg200x-bsp，支持了获取sd卡的容量；

• rebase到新分支并更新提pr的分支：添加sd卡的容量接口,完善mbr分区range, 在过CI检查；
  Update: sg2002基础BSP支持PR on tgoskits也已merge

• 在将原版starry的tpu驱动移动到tgoskits上之后，发现在tgoskits上遇到tpu dmabuf的错误；(Update: pzc已帮忙修复并提交PR)

---

RK3588开发情况

• rk3588 on starry，通过libusb uvc获取图像的 线路通了，约30fps；做了rknn测试，不过没有实现捡网球流程；
  Update: SZY(feat/orangepi-uvc-rknn)实现了在rk3588 on Starry上, 通过NPU对USB摄像头画面进行YOLOv8实时目标检测，并提供网页视频流查看检测目标；
• v4l2有关的优化工作；
• pzc基于rk3588准备参赛题，以尝试进行捡网球流程及优化工作；遇到debug smp初始化卡住的问题，以及sd卡速率很慢的问题，lsusb找不到uvc设备的问题； Update：uvc复现出来了，猜了不少坑，板子和摄像头都不一样。还调试了检测球的模型。3588串口穿透调通了，可以通过ttyS控制串口。