Django插入多条数据—bulk_create
Posted jiumo
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Django插入多条数据—bulk_create相关的知识,希望对你有一定的参考价值。
在Django中需要向数据库中插入多条数据(list)。使用如下方法,每次save()的时候都会访问一次数据库。导致性能问题:
for i in resultlist:
p = Account(name=i)
p.save()
在django1.4以后加入了新的特性。使用django.db.models.query.QuerySet.bulk_create()
批量创建对象,减少SQL查询次数。改进如下:
querysetlist=[]
for i in resultlist:
querysetlist.append(Account(name=i))
Account.objects.bulk_create(querysetlist)
Model.objects.bulk_create() 更快更方便
常规用法:
#coding:utf-8
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")
'''
Django 版本大于等于1.7的时候,需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren't loaded yet.
'''
import django
if django.VERSION >= (1, 7):#自动判断版本
django.setup()
def main():
from blog.models import Blog
f = open('oldblog.txt')
for line in f:
title,content = line.split('****')
Blog.objects.create(title=title,content=content)
f.close()
if __name__ == "__main__":
main()
print('Done!')
使用批量导入:
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")
def main():
from blog.models import Blog
f = open('oldblog.txt')
BlogList = []
for line in f:
title,content = line.split('****')
blog = Blog(title=title,content=content)
BlogList.append(blog)
f.close()
Blog.objects.bulk_create(BlogList)
if __name__ == "__main__":
main()
print('Done!')
由于Blog.objects.create()
每保存一条就执行一次SQL,而bulk_create()
是执行一条SQL存入多条数据,做会快很多!当然用列表解析代替 for 循环会更快!!
#!/usr/bin/env python
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")
def main():
from blog.models import Blog
f = open('oldblog.txt')
BlogList = []
for line in f:
parts = line.split('****')
BlogList.append(Blog(title=parts[0], content=parts[1]))
f.close()
# 以上四行 也可以用 列表解析 写成下面这样
# BlogList = [Blog(title=line.split('****')[0], content=line.split('****')[1]) for line in f]
Blog.objects.bulk_create(BlogList)
if __name__ == "__main__":
main()
print('Done!')
例如:
# 获取数量
nums = request.POST.get('nums').strip()
if nums.isdigit() and int(nums) > 0:
# 方法一
# for i in range(int(nums)):
# device = Device(
# category=category,
# seat=seat_obj,
# asset_code='',
# asset_num='V{}-{}'.format(category.name, str(i).zfill(4)), # V类型-0001编号
# use_info='',
# operator=operator,
# op_type=1
# )
# device.save() # 每次save()的时候都会访问一次数据库。导致性能问题
# 方法二
device_obj_list = []
for i in range(int(nums)):
device_obj_list.append(
Device(
category=category,
seat=seat_obj,
asset_code='---',
asset_num='{}-xxxx'.format(category.name), # 类型-xxxx
use_info='---',
operator=operator,
op_type=1
)
)
Device.objects.bulk_create(device_obj_list) # 使用django.db.models.query.QuerySet.bulk_create()批量创建对象,减少SQL查询次数
messages.info(request, '批量添加{}条数据完成!'.format(nums))
批量导入时数据重复的解决方法
如果你导入数据过多,导入时出错了,或者你手动停止了,导入了一部分,还有一部分没有导入。或者你再次运行上面的命令,你会发现数据重复了,怎么办呢?
django.db.models
中还有一个函数叫 get_or_create()
,之前文章中也提到过,有就获取过来,没有就创建,用它可以避免重复,但是速度可以会慢些,因为要先尝试获取,看看有没有
只要把上面的:
Blog.objects.create(title=title,content=content)
换成下面的就不会重复导入数据了
Blog.objects.get_or_create(title=title,content=content)
返回值是(BlogObject, True/False)
新建时返回 True, 已经存在时返回 False。
以上是关于Django插入多条数据—bulk_create的主要内容,如果未能解决你的问题,请参考以下文章
为什么在Django上使用bulk_create插入带有外键的数据会返回“属性对象不可调用”?
Django 2021年最新版教程22数据库model 批量插入创建
91.一次性处理多条数据的方法:bulk_create,update,delete