预训练模型代码深度剖析之开宗明义：新学常见误区和正确的学习姿势

Posted 2023-03-02 herosunly

  最近在给新徒弟讲授预训练模型的过程中，发现了初学者的几个误区，分别是：

1. 在整个学习过程中，重理论轻代码，忽略了将论文和代码进行对齐，而由于代码中往往包括了一些论文中不曾讲到的细节，所以也未曾达到全面细致的理解。
2. 在学习代码过程中，重阅读轻调试，在遇到代码中无法理解的点时束手无策，而导致遗留了很多无法理解的难点。
3. 在阅读代码过程中，重模型轻数据，过于注重深度学习模型，却忽略了数据的建模和加工，以BERT模型为例，忽略了预训练数据的创建过程。

  对于以上问题，针对性的解决方案分别是：

1. 代码要与论文对齐(code align to paper)，具体来说就是先找到两者一致的内容，然后将论文中不存在或者不一致的点也逐一列举出来，并思考它的作用。