RL训练得到的adapter文件是空的

[linyaoyang]

System Info

用train_math.py文件进行训练，最后得到的adapter_model.safetensors文件大小只有40字节，内容是 {"metadata":{"format":"pt"}}，似乎adapter并没有参与训练？这样RL训练过程对吗？

Who can help?

@morning9393

Information

• The official example scripts
• My own modified scripts

Tasks

• An officially supported task in the codebase (such as scrips/, ...)
• My own task or dataset (give details below)

Reproduction

python -u train_math.py --dataset_path "/mnt/workspace/yly/longcot/openr/train/mat/envs/math/data/math_500.jsonl" --model_name_or_path "/mnt/workspace/yly/model/Qwen2.5-Math-7B-Instruct" --prm_model_name_or_path "/mnt/workspace/yly/model/math-shepherd-mistral-7b-prm" --algorithm_name "TPPO" --num_mini_batch 4 --ppo_epoch 1

Expected behavior

获得正常的adapter文件

[melody123123]

兄弟有解决方法吗

[linyaoyang]

兄弟有解决方法吗

qwen_lora_agent.py文件中的save方法改为

def save(self, save_dir, episode):
       print("save model")
       exp_path = os.path.join(save_dir, "episode_{:04d}".format(episode))

       os.makedirs(exp_path, exist_ok=True)
       # save lora
       self.actor.save_pretrained(exp_path, )
       # 原来的代码保存下来的safetensors文件是空的
       lora_weights = {}
       for name, param in self.actor.named_parameters():
           if "lora" in name:  # 假设参数名称中包含 'lora' 来表示 LoRA 参数
               lora_weights[name] = param.data

       # 将提取的权重保存为 safetensors 文件
       save_file(lora_weights, exp_path + "/adapter_model.safetensors")

以上方法可以获得safetensors文件，但是在合并时对原模型的参数没有影响，不知道什么原因，你可以试一下。