[micro_perf]单卡多设备节点建议如何测试？

[hi20240217]

现状

• 有一张PCIE的GPU卡,安装好驱动后有多个设备节点
• Pytorch看到的也是多个设备。实际使用时,也是按独立的设备使用(虽然单卡多设备之间有比较高的通信带宽)

疑问

• 字节建议如何测试呢

个人想法

• 是否可以分别用下面的命令,测试单设备和4个设备(0、1、2、3都在同一张物理卡上)。然后对比数据呢

python3 launch.py --backend GPU --device 0,1,2,3 --task_dir ./workloads/basic --task all
python3 launch.py --backend GPU --device 0 --task_dir ./workloads/basic --task all

• 比较

  • 单设备的性能 以及跟理论值的差距
  • 4设备节点同时运行,性能是否有损耗,证明不受功耗、资源竞争等影响
  • 整机所有设备一起运行,查看性能的损耗情况

• 之后通过llm_perf等看整体的性能