批量插入数据

Posted 2020-11-21 chanyuli

批量插入数据

当我们想要批量得向数据库插入数据的时候，该怎么做？按照之前的思想，应该会有以下代码。在Django中需要向数据库中插入多条数据（list）。使用如下方法，每次save()的时候都会访问一次数据库。导致性能问题:

def index(request):
    # 1.往书籍表中插入数据 1000
    for i in range(1000):  # 这种插入方式 效率极低
        models.Book.objects.create(title='第%s本书'%i)

没事，也就走了大概一千次数据库吧。耗时长的不得了，所以要如何才能优化这个代码呢？

看下面代码

在Django中需要向数据库中插入多条数据（list）。使用如下方法，每次save()的时候都会访问一次数据库。导致性能问题:

def index(request):
    book_list = []
    for i in range(100000):
        book_list.append(models.Book(title='第%s本书'%i))
    models.Book.objects.bulk_create(book_list)
    book_queryset = models.Book.objects.all()

bulk_create()是执行一条SQL存入多条数据

批量导入时数据重复的解决方法

如果你导入数据过多，导入时出错了，或者你手动停止了，导入了一部分，还有一部分没有导入。或者你再次运行上面的命令，你会发现数据重复了，怎么办呢？

django.db.models 中还有一个函数叫 get_or_create(),之前文章中也提到过,有就获取过来，没有就创建，用它可以避免重复，但是速度可以会慢些，因为要先尝试获取，看看有没有

只要把上面的:

Book.objects.create(title=title,content=content)

换成下面的就不会重复导入数据了

Book.objects.get_or_create(title=title,content=content)

返回值是(BlogObject, True/False)新建时返回 True, 已经存在时返回 False。