如何使用机器学习自动修复bug: 上手指南
Posted Jtag特工
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何使用机器学习自动修复bug: 上手指南相关的知识,希望对你有一定的参考价值。
如何使用机器学习自动修复bug: 上手指南
通过机器学习可以自动修复bug? 对于很多同学来说可能这是一个玄幻的话题。
究竟靠不靠谱,我们可以自己亲自来试试,每个人都能学会。
这个问题说难非常难,说简单也很简单。我们把有bug的代码片断和修复之后的代码片断做成数据集,使用类似机器翻译的技术进行训练。然后我们用训练好的模型去预测新代码如何修复。
这个思想和数据集都来自论文《An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation》
代码自动修复的题目很简单,一段是有bug的代码,另一段是修复之后的代码。
其主要过程我们看图:
为了更广地适应代码的情况,作者对于代码进行了抽象:
我们来看一个数据集中的例子:
有bug的代码是这样的:
public java.lang.String METHOD_1 ( ) return new TYPE_1 ( STRING_1 ) . format ( VAR_1 [ ( ( VAR_1 . length ) - 1 ) ] . getTime ( ) ) ;
修复之后是这样子的:
public java.lang.String METHOD_1 ( ) return new TYPE_1 ( STRING_1 ) . format ( VAR_1 [ ( ( type ) - 1 ) ] . getTime ( ) ) ;
手把手教你用CodeBERT自动修复bug
在为软件工程服务的人工智能AI4SE方面,微软一直是保持领先的。我们下面就手把手学习下如何使用微软的CodeBERT模型来自动修复bug.
第一步:安装transformers框架,因为CodeBERT 是基于这个框架的:
pip install transformers --user
第二步:安装PyTorch或者Tensorflow作为Transformers的后端,驱动能搞定的话,索性就安装最新的吧:
pip install torch torchvision torchtext torchaudio --user
第三步,下载微软的数据集
git clone https://github.com/microsoft/CodeXGLUE
数据集已经被下载到CodeXGLUE/Code-Code/code-refinement/data/ 中了,分为small和medium两个数据集。
我们先拿small数据集练练手:
cd code
export pretrained_model=microsoft/codebert-base
export output_dir=./output
python run.py \\
--do_train \\
--do_eval \\
--model_type roberta \\
--model_name_or_path $pretrained_model \\
--config_name roberta-base \\
--tokenizer_name roberta-base \\
--train_filename ../data/small/train.buggy-fixed.buggy,../data/small/train.buggy-fixed.fixed \\
--dev_filename ../data/small/valid.buggy-fixed.buggy,../data/small/valid.buggy-fixed.fixed \\
--output_dir $output_dir \\
--max_source_length 256 \\
--max_target_length 256 \\
--beam_size 5 \\
--train_batch_size 16 \\
--eval_batch_size 16 \\
--learning_rate 5e-5 \\
--train_steps 100000 \\
--eval_steps 5000
取决于你的机器的算力,我用一台NVIDIA 3090GPU大约训练一晚上时间就训练完了。效果最好的模型被存储于output_dir/checkpoint-best-bleu/pytorch_model.bin中。
然后我们就可以使用测试集检验下我们的训练成果:
python run.py \\
--do_test \\
--model_type roberta \\
--model_name_or_path roberta-base \\
--config_name roberta-base \\
--tokenizer_name roberta-base \\
--load_model_path $output_dir/checkpoint-best-bleu/pytorch_model.bin \\
--dev_filename ../data/small/valid.buggy-fixed.buggy,../data/small/valid.buggy-fixed.fixed \\
--test_filename ../data/small/test.buggy-fixed.buggy,../data/small/test.buggy-fixed.fixed \\
--output_dir $output_dir \\
--max_source_length 256 \\
--max_target_length 256 \\
--beam_size 5 \\
--eval_batch_size 16
在我的机器上,经过半小时的推理计算,输出是这样的:
10/26/2021 11:51:57 - INFO - __main__ - Test file: ../data/small/test.buggy-fixed.buggy,../data/small/test.buggy-fixed.fixed
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 365/365 [30:40<00:00, 5.04s/it]
10/26/2021 12:22:39 - INFO - __main__ - bleu-4 = 79.26
10/26/2021 12:22:39 - INFO - __main__ - xMatch = 16.3325
10/26/2021 12:22:39 - INFO - __main__ - ********************
如何评价我们生成的代码质量好不好呢?我们可以通过比较我们生成的output/test_1.output和output/test_1.gold进行比较,可以使用下面的evaluator.py脚本:
python evaluator/evaluator.py -ref ./code/output/test_1.gold -pre ./code/output/test_1.output
输出结果如下:
BLEU: 79.26 ; Acc: 16.33
前者是描述NLP生成质量的BLEU指标,后者是准确率。
这个指标水平如何呢?我们可以跟基线对比下:
Method | BLEU | Acc (100%) | CodeBLEU |
---|---|---|---|
Naive copy | 78.06 | 0.0 | - |
LSTM | 76.76 | 10.0 | - |
Transformer | 77.21 | 14.7 | 73.31 |
CodeBERT | 77.42 | 16.4 | 75.58 |
准确率虽然看起来不高,但是CodeBERT已经比原论文使用的RNN技术提升了60%了。
我们通过diff来直观感受下生成的和原始的之间的差别:
随着数据的增多,我们没有费一个脑细胞,就可以自动帮我们修复bug,这简直就是“睡后收入”啊。
自动发现bug
如果觉得自动解决bug这个事情离实用还远,我们可以先只发现bug。
可别小看自动发现bug这个相对弱的命题,它带来的适用性和准确率都有较大提升。
是否有bug的数据集特别简单,只要用一个字段来标志是不是有bug就可以了。
数据集格式如下,以jsonl的格式存储:
"project": "qemu", "commit_id": "aa1530dec499f7525d2ccaa0e3a876dc8089ed1e", "target": 1, "func": "static void filter_mirror_setup(NetFilterState *nf, Error **errp)\\n\\n MirrorState *s = FILTER_MIRROR(nf);\\n Chardev *chr;\\n chr = qemu_chr_find(s->outdev);\\n if (chr == NULL) \\n error_set(errp, ERROR_CLASS_DEVICE_NOT_FOUND,\\n \\"Device '%s' not found\\", s->outdev);\\n qemu_chr_fe_init(&s->chr_out, chr, errp);", "idx": 8
"project": "qemu", "commit_id": "21ce148c7ec71ee32834061355a5ecfd1a11f90f", "target": 1, "func": "static inline int64_t sub64(const int64_t a, const int64_t b)\\n\\n\\n\\n\\treturn a - b;\\n\\n\\n", "idx": 10
不需要写什么代码,我们直接训练:
python run.py \\
--output_dir=./saved_models \\
--model_type=roberta \\
--tokenizer_name=microsoft/codebert-base \\
--model_name_or_path=microsoft/codebert-base \\
--do_train \\
--train_data_file=../dataset/train.jsonl \\
--eval_data_file=../dataset/valid.jsonl \\
--test_data_file=../dataset/test.jsonl \\
--epoch 5 \\
--block_size 200 \\
--train_batch_size 32 \\
--eval_batch_size 64 \\
--learning_rate 2e-5 \\
--max_grad_norm 1.0 \\
--evaluate_during_training \\
--seed 123456
这个时间比自动修复的要短的多,20分钟全搞定。
然后运行下测试集:
python run.py \\
--output_dir=./saved_models \\
--model_type=roberta \\
--tokenizer_name=microsoft/codebert-base \\
--model_name_or_path=microsoft/codebert-base \\
--do_eval \\
--do_test \\
--train_data_file=../dataset/train.jsonl \\
--eval_data_file=../dataset/valid.jsonl \\
--test_data_file=../dataset/test.jsonl \\
--epoch 5 \\
--block_size 200 \\
--train_batch_size 32 \\
--eval_batch_size 64 \\
--learning_rate 2e-5 \\
--max_grad_norm 1.0 \\
--evaluate_during_training \\
--seed 123456
计算一下准确率:
python ../evaluator/evaluator.py -a ../dataset/test.jsonl -p saved_models/predictions.txt
运行结果如下:
'Acc': 0.6288433382137628
我们跟业界的主流结果对比下:
Methods | ACC |
---|---|
BiLSTM | 59.37 |
TextCNN | 60.69 |
RoBERTa | 61.05 |
CodeBERT | 62.08 |
准确率都及格了哈。
有了这套方法的好处,仍然是我们前面讲的“睡后收入”。只要积累更多的有效数据,它的识别能力会持续增长,这其中基本上不需要的维护的人力。
以上是关于如何使用机器学习自动修复bug: 上手指南的主要内容,如果未能解决你的问题,请参考以下文章