SimCSE 如何独立进行两次 dropout

Posted 2023-03-28

【中文标题】SimCSE 如何独立进行两次 dropout

【英文标题】：How does SimCSE do dropout twice indepently

【发布时间】：2021-12-23 03:10:00

【问题描述】：

如何将一个输入句子独立地传递给 bert 两次 dropout？

这是我到目前为止所尝试的，输出是相同的。

bert = AutoModel.from_pretrained('bert-base-cased')
tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')
sent_dict = tokenizer('Some weights of the model checkpoint at bert-base-cased were not used when initializing BertModel', return_tensors='pt')

bert(**sent_dict).pooler_output == bert(**sent_dict).pooler_output

【参考方案1】：

我忘记了 model.train() :( Dropout 只在训练模式下有效