python模块中requests参数stream
Posted nul1
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python模块中requests参数stream相关的知识,希望对你有一定的参考价值。
PS:这个参数真没用过
当下载大的文件的时候,建议使用strea模式.
默认情况下是false,他会立即开始下载文件并存放到内存当中,倘若文件过大就会导致内存不足的情况.
当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下载之前,它也需要保持连接。
- iter_content:一块一块的遍历要下载的内容
- iter_lines:一行一行的遍历要下载的内容
使用上面两个函数下载大文件可以防止占用过多的内存,因为每次只下载小部分数据。
示例代码:
1 r = requests.get(url_file, stream=True) 2 f = open("file_path", "wb") 3 for chunk in r.iter_content(chunk_size=512): 4 if chunk: 5 f.write(chunk)
以上是关于python模块中requests参数stream的主要内容,如果未能解决你的问题,请参考以下文章
你还不会Python网络爬虫中的requests模块使用?《二》
你还不会Python网络爬虫中的requests模块使用?《二》