BERT模型Hugging face的慢速训练

Posted 2023-03-29

【中文标题】BERT模型Hugging face的慢速训练

【英文标题】：Slow training of BERT model Hugging face

【发布时间】：2021-10-22 13:09:46

【问题描述】：

我正在使用拥抱人脸库中的 BERT 模型实现二进制分类器

training_args = TrainingArguments(
   "deleted_tweets_trainer",                  
   num_train_epochs = 1,            
   #logging_steps=100,    
   evaluation_strategy='steps',       
   remove_unused_columns = True    
)

我正在使用 Colab TPU，但训练时间很长，60 小时清理推文需要 38 小时。

有没有办法优化训练？

【参考方案1】：

您目前每 500 步评估一次，并且训练和评估批次大小为 8。

根据您当前的内存消耗，您可以增加批量大小（评估更多，因为训练消耗更多内存）：

per_device_train_batch_size per_device_eval_batch_size

如果它与您的用例匹配，您还可以在开始评估后增加步骤；

eval_steps

【讨论】：

谢谢，添加 per_device_eval_batch_size=16 后，增加了计算时间

更高的batch_size会增加计算时间？你能再检查一遍吗？ @AlexKujur