PEFT（参数高效微调）

​

概念定义

​

详细解释

​

工作原理

​

1. 主要PEFT方法

• 注入低秩矩阵 A×B
• 可训练参数：0.1-1%
• 性能最优，应用最广
• 适合任务差异较大的场景

• 插入瓶颈结构的小网络
• 可训练参数：2-5%
• 早期方法，仍然有效
• GLUE基准达到全微调99.6%性能

• 在输入前添加可训练token
• 可训练参数：小于0.1%
• 适合提示工程场景
• 会减少可用序列长度

• 改进的提示调优方法
• 在各层添加可训练提示
• 性能接近全参数微调
• 对模型规模更鲁棒

• 直接优化输入嵌入
• 参数量最少
• 适合简单任务适配
• 不修改模型内部结构

​

2. 方法选择指南

​

3. HuggingFace PEFT库

pip install peft transformers accelerate

from peft import get_peft_model, LoraConfig, TaskType

# 配置PEFT方法
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,
    lora_alpha=32,
    lora_dropout=0.1,
    target_modules=["q_proj", "v_proj"]
)

# 应用到模型
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
# trainable params: 3,686,400 || all params: 3,089,625,088 || trainable%: 0.12%

​

4. 内存和性能优化

• 用计算换内存
• 训练时间增加20-30%
• 内存减少50%+

• FP16/BF16计算
• 速度提升2倍
• 内存减少一半

• ZeRO-3优化
• 支持更大模型
• 多GPU高效利用

​

实际应用

​

硬件需求对比

​

实际案例

• 使用LoRA在RTX 3080 (10GB)上微调
• 仅训练0.19%参数
• 性能达到全微调98%

• 添加1.2M参数（0.02%）
• 训练时间不到1小时
• 任务性能提升显著

• 基础模型 + 多个6-8MB适配器
• 动态切换不同任务
• 单服务器支持100+任务

​

最佳实践

1. 选择合适的方法
   • 新任务差异大：LoRA
   • 主要是提示问题：Prefix Tuning
   • 极度不同任务：考虑全微调
2. 参数调优建议
   • 从小秩开始（r=8）
   • 逐步增加直到性能饱和
   • 平衡效果与效率
3. 训练策略
   • 使用较低学习率（1e-4到5e-4）
   • 更多训练轮次
   • 仔细监控过拟合

​

相关概念

• LoRA - 最流行的PEFT方法
• QLoRA - 量化版LoRA
• 微调（Fine-tuning） - PEFT优化的目标
• Adapter - 早期PEFT方法
• 提示学习 - 软提示相关技术

​

延伸阅读

• HuggingFace PEFT文档 - 官方使用指南
• PEFT方法综述 - 2024年最新综述
• PEFT库源码 - 实现细节参考
• 参数高效微调教程 - 入门实践指南