python模块中requests参数stream

Posted nul1

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python模块中requests参数stream相关的知识,希望对你有一定的参考价值。

PS:这个参数真没用过

当下载大的文件的时候,建议使用strea模式.

默认情况下是false,他会立即开始下载文件并存放到内存当中,倘若文件过大就会导致内存不足的情况.

当把get函数的stream参数设置成True时,它不会立即开始下载,当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点:文件没有下载之前,它也需要保持连接。

  • iter_content:一块一块的遍历要下载的内容
  • iter_lines:一行一行的遍历要下载的内容

使用上面两个函数下载大文件可以防止占用过多的内存,因为每次只下载小部分数据。

示例代码:

1 r = requests.get(url_file, stream=True)
2 f = open("file_path", "wb")
3 for chunk in r.iter_content(chunk_size=512):
4     if chunk:
5         f.write(chunk)

 

以上是关于python模块中requests参数stream的主要内容,如果未能解决你的问题,请参考以下文章

你还不会Python网络爬虫中的requests模块使用?《二》

你还不会Python网络爬虫中的requests模块使用?《二》

python的requests模块参数详解

# yyds干货盘点 # Python网络爬虫过程中,构建网络请求的时候,参数`stream=True`的使用

Python爬虫_requests模块

Python中的requests模块注意事项