python如何爬取单个网页数据,并将数据保存到相应文件当中

Posted weixin_ancenhw

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python如何爬取单个网页数据,并将数据保存到相应文件当中相关的知识,希望对你有一定的参考价值。

网上爬虫的案例很多。本教程结合实际开发。设计一款比较容易上手的python爬虫案例。供大家学习参考使用。以下标注了整个代码制作的写作的过程及解释说明!

# 1、首先导入python所需要的类库文件:urlopen
from urllib.request import urlopen
# 2、导入codecs
import codecs
# 3、定义要爬虫的网址
url = "https://123.sogou.com/"
# 4、打开需要爬虫内容
resp = urlopen(url)

# codecs.open(filepath,method,encoding)
# filepath--文件路径
# method--打开方式,r为读,w为写,rw为读写
# encoding--文件的编码,中文文件使用utf-8
# 5、打开文件sougou文件,将其写入
f = codecs.open('sougou.html', 'w', 'utf-8')
f.write(resp.read().decode("utf-8"))

以上按钮代码复制粘贴到PyCharm 开发工具,即可编译使用!

以上是关于python如何爬取单个网页数据,并将数据保存到相应文件当中的主要内容,如果未能解决你的问题,请参考以下文章

关于Scrapy爬取1000张网页的问题

网络爬虫在爬取网页时,响应头没有编码信息...如何解决保存在本地的乱码问题?

pycharm爬取的数据在哪

如何用Python爬取数据?

python爬取大量数据(百万级)

python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地