Hugging Face Blog·· 28 天前精选AI 评分62
在 Hugging Face Jobs 上用 LoRA 做异步 GRPO 训练:Storage Bucket + 代理 + 无 NCCL
Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
AI 导读
Hugging Face 博客介绍如何把 TRL v1.14 的 AsyncGRPOTrainer 与 LoRA 适配器结合,跑在多个独立的 HF Jobs 上:训练 Job、若干 vLLM 推理 Job 通过挂载同一个 Storage Bucket 共享 LoRA 文件,proxy 负责鉴权、KV 前缀亲和路由以及向所有副本广播 adapter 加载。
推荐理由
文章给出了从 Storage Bucket、proxy 到 KV 前缀路由的完整工程蓝图,读者可以直接复用这套 HF Jobs 架构改造自己的 RL 训练。
来源:Hugging Face Blog · huggingface.co