爬虫-闲谈数据处理

Posted 2021-09-05 yk 坤帝

个人公众号 yk 坤帝
获取更多学习资料

之前我们讨论了一下请求和响应，接下来几天我们都会讨论对数据的处理。

接触了爬虫这个领域，大家肯定都听过正则表达式的鼎鼎大名，不过今天我们暂时不谈正则，我们先来讨论一下数据的简单处理，为之后的正则表达式做准备。

我们用requests.get或requests.post获取到网页的源码，通过BeautifulSoup解析之后，得到的数据还是可能千奇百怪的，可能多了空格，可能有些内容我们不需要等等，所以我们应该对这些数据进行简单的处理。

首先，来看第一种情况，首尾很多空格的情况，下图是豆瓣电影Top250的图，如果我们想要获取电影上映年份/上映地点/电影类别，实际通过BeautifulSoup解析获取到的数据并不是我们想要的结果。

movie = ''' 1994 / 美国 / 犯罪 剧情 ''' 
# 我们实际能获取到的数据是这样的，现在我们要去掉首尾多余的空格，可以这么做 movie = movie.strip() 
# strip()表示去除首尾的空格，这个对字符串的处理用得非常多 
# 得到的结果就是1994 / 美国 / 犯罪 剧情

经过strip()处理之后，可以看到得到得结果中仍然还是有空格，这个就可以用replace来替 换掉空格。

个人公众号 yk 坤帝 
获取更多学习资料

movie = ''' 1994 / 美国 / 犯罪 剧情 '''
movie = movie.strip() # 
得到的结果就是1994 / 美国 / 犯罪 剧情 
movie = movie.replace(' ', '') 
# 这一行表示将字符串中的空格替换掉，replace第一个参数表示要替换的字符串，第二个 参数表示要用什么来替换。 
# 得到的结果就是1994/美国/犯罪剧情

经过replace()处理之后，其实得到的数据已经可以了，但是，如果我们想分别提取出上映 年份/上映地点/电影分类呢。

这个时候就用到我们之前用过的split了。

movie = ''' 1994 / 美国 / 犯罪 剧情 ''' 
movie = movie.strip() 
# 得到得结果就是1994 / 美国 / 犯罪 剧情 movie = movie.replace(' ', '') 
# 得到的结果就是1994/美国/犯罪剧情 movie = movie.split('/') 
# 这一行表示将字符串通过/进行分割，得到的是一个列表 
# 得到的结果是['1994', '美国', '犯罪剧情']

通过strip和replace和split就能得到我们想要的结果了，这三种字符串的处理方法会在处理 数据中经常使用。

然后我们来看下第二种情况，是关于URL拼接问题的，假设我们现在要爬取知乎首页的超链 接，然后顺着爬取到的超链接一直深入爬下去，这样就能爬取整个知乎了。

下图是知乎首页其中一个问题的URL，可以发现这个URL并不完整，需要拼接上当前的域名 才能构成一个完整的URL。

我们当然可以用https://www.zhihu.com和这个URL拼接起来，但是这样又有一个问题，我 们是想要获取到知乎的所有URL，有的URL是带了https://www.zhihu.com的，这样再拼接 一下，就容易出错，所以我们需要预先处理一下。这就需要用到startswith方法了。

个人公众号 yk 坤帝 
获取更多学习资料

origin_url = 'https://www.zhihu.com' 

url_list = ['/question/36539555/answer/595275293', '/question/308663552/a nswer/577063117', 'https://www.zhihu.com/special/20743868'] 

for i in range(len(url_list)):
	if not url_list[i].startswith('http'):
	# 这一行表示如果url_list[i]不是以http开头的话，那么就执行if内部的语句 
	url_list[i] = origin_url + url_list[i]
	print(url_list) 
	 
	# 得到的最终结果是['https://www.zhihu.com/question/36539555/answer/5952752 93', 'https://www.zhihu.com/question/308663552/answer/577063117', 'https:// www.zhihu.com/special/20743868']

通过startswith提前判断一下，就能够得到我们想要的结果了。当然有startswith，自然而 然会有endswith，同样举个例子来看。

个人公众号 yk 坤帝 
获取更多学习资料

url_list = ['https://pic2.zhimg.com/50/v25502c54842dceeb2e8901e884407a7fd_fhd.jpg', 'https://www.zhihu.com/special/20743868']

for url in url_list:
	if url.endswith('jpg'):
	
	# 这一行表示如果url是以jpg结尾的话，就执行if内部的语句
		url_list.remove(url) 6 print(url_list) 
		 # 最终结果是['https://www.zhihu.com/special/20743868']

通过startswith和endswith可以用来过滤我们不想要的字符串，并对其进行操作。

最后，我们再来谈一个join方法，这个方法是用来拼接一个序列（列表/元组等）的值的， 将一个序列转换一个字符串。

下图是豆瓣中一本书的详情页，每本书都有他的标签，有的时候为了方便存储，我们需要将 这些标签连起来组成一个字符串，我们就可以用join来操作了。

# 上图我们用爬虫去爬取书籍的标签的话，得到的是tag这样的一个列表 
tag = ['文学', '短篇小说', '小说', '先锋文学'] 
tag = '-'.join(tag) 
# 这一行表示用'-'符号将tag这个列表中的每个值连接起来，得到的是一个字符串 
# 最终结果是'文学-短篇小说-小说-先锋文学'

好了，今天的分享本来就到这里结束了，但还是忍不住要插一个列表的去重，因为真的经常 会用到。

有这样一个需求，一本书总共有600000个英文单词，保存在了一个列表中，现在想要统计 如果想要阅读这本书，需要多少得词汇量，那么我们面对得问题就是去重。

我们直接看代码：

个人公众号 yk 坤帝 
获取更多学习资料

# 实现功能：将列表中相同的元素去重，统计书籍词汇量 

content = ['Whatever', 'is', 'worth', 'doing', 
'is', 'worth', 'doing', 'well'] 
new_content = set(content) 
# 这一步是将列表转换成集合，就去重成功了，因为集合内的元素是不能重复的，但它是无 序的

new_content = list(new_content) 
# 这一步是将上一步得到的集合转换成一个列表，这样就得到了最终结果列表了 print(new_content) 
# 得到的结果是['worth', 'Whatever', 'is', 'doing', 'well']

print(len(new_content)) 
# 得到的结果是5，说明这本书的词汇量是5个

至此，我们总共讨论了字符串的6种常用方法，分别是strip、replace、split、startswith、 endswith、join，以及列表的去重。 明天我们开始来讨论正则表达式，大家加油。

个人公众号 yk 坤帝
获取更多学习资料