淘宝密码(爬虫爬取淘宝美食的数据源码)
Posted yunlongaimeng
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了淘宝密码(爬虫爬取淘宝美食的数据源码)相关的知识,希望对你有一定的参考价值。
淘宝密码(爬虫爬取淘宝美食的数据源码)
正则匹配找规律
import re
import requests
# 在搜索框中输入美食得到的数据q=%E7%BE%8E%E9%A3%9F
url = ‘https://s.taobao.com/search?q=%E7%BE%8E%E9%A3%9F‘
response = requests.get(url)
# print(response.text)
# 用正则对html源码进行解析到一个json数据
pattern = re.compile(‘g_page_config =(.*?);‘, re.S)
result = re.search(pattern, response.text)
# print(result.group(1))
# 发现并不是那么简单而是加密的数据并是有规律可寻的,以下是加密的几个数据段
json_data = re.sub(‘(\\u003d)|(\\u0026)|(\\u003c)|(\\u003e)‘, ‘‘, result.group(1))
以上是关于淘宝密码(爬虫爬取淘宝美食的数据源码)的主要内容,如果未能解决你的问题,请参考以下文章
使用selenium结合PhantomJS爬取淘宝美食并存储到MongoDB