生成器的应用,爬取网页信息

Posted 关灯吃面

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了生成器的应用,爬取网页信息相关的知识,希望对你有一定的参考价值。

#需求:生成器的应用     
#然后每次g.send(url),打印页面内容,利用g可以无限send

1 from urllib.request import urlopen   #导入爬虫模块
2 def get():
3     while True:
4         url = yield     #将函数改成协程函数
5         print(urlopen(url).read())  #打印爬取网页的结果
6 
7 g = get()   #将函数改成生成器
8 next(g)     #初始化生成器
9 g.send("http://www.baidu.com") #向迭代器内送值

 

以上是关于生成器的应用,爬取网页信息的主要内容,如果未能解决你的问题,请参考以下文章

豆瓣近五年书籍榜单爬取流程

使用python爬取App安卓应用商店评论并生成词云

使用python爬取App安卓应用商店评论并生成词云

使用python爬取App安卓应用商店评论并生成词云

python 网页爬取数据生成文字云图

js的网页爬虫爬不到吗