手把手教你利用Python网络爬虫获取APP推广信息

Posted Python程序员

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了手把手教你利用Python网络爬虫获取APP推广信息相关的知识,希望对你有一定的参考价值。

/1 前言/

    CPA之家app推广平台是国内很大的推广平台。该网址的数据信息高达数万条,爬取该网址的信息进行数据的分析。


/2 项目目标/

    实现将获取到的QQ,导入excel模板,并生成独立的excel文档。


/3 项目分析——反爬措施处理/

    前期测试时发现,该网站反爬虫处理措施很多,测试到有以下几个:

    1. 直接使用requests库,在不设置任何header的情况下,网站直接不返回数据。

    2. 同一个ip连续访问40多次,直接封掉ip,起初我的ip就是这样被封掉的。

   为了解决这两个问题,最后经过研究,使用以下方法,可以有效解决。

   1. 获取正常的 http请求头,并在requests请求时设置这些常规的http请求头。

    2. 使用 fake_useragent ,产生随机的UserAgent进行访问。


/4 需要的库和网址/

1. 网址,如下所示:

https://www.cpajia.com/index.php?g=Wap&a=searchua

2. 需要用到的库:requests、time、lxml、ua


/5 项目实现/

import requestsimport osimport refrom fake_useragent import UserAgentfrom lxml import etree
house_dict = {} #定义一个字典def get_page(url, page_num): passurl = 'https://www.cpajia.com/index.php?g=Wap&a=search' #网址ua = UserAgent(verify_ssl=False) #随机的UserAgentkv = { 'User-Agent': ua.random}
pageList = get_page()

    2. 下面介绍一下如何爬取ajax动态加载的网页方法。

    3. 翻页时发现它的url并没有改变,无法简单的通过request.get()访问其他页面。据搜索资料,了解到这些网站是通过ajax动态加载技术实现。即可以在不重新加载整个网页的情况下,对网页的某部分进行更新。

手把手教你利用Python网络爬虫获取APP推广信息

    4. 通过分析响应请求,模拟响应参数。再通过requests库的request.post()函数去post相对应的参数即可。

    具体方法如下:打开开发者工具,快捷键F12,不行就Fn + F12。手把手教你利用Python网络爬虫获取APP推广信息

    5.   <1>标红的箭头network, 在其中可以看到服务器加载过来的资源。

      < 2>标红的框框一个过滤器,你可以按照文件格式筛选。手把手教你利用Python网络爬虫获取APP推广信息

    6. Headers中的request method 中显示我们使用的是POST方法。而且FROM Data 中有一个参数,PageIndex。

    利用Form Data 中的数据,编写一个字典,赋值给requests.post()中的data即可。

    接下来就可以正常访问和翻页了!

    7. 对网站发生请求

import requestsimport osimport refrom fake_useragent import UserAgentfrom lxml import etreedef get_page(url, page_num): pageList = [] for i in range(1, page_num + 1):        formdata = {'PageIndex': i}ua = UserAgent(verify_ssl=False)kv = {'User-Agent': ua.random}
pageList = get_page()

    8. 对请求到的数据进行处理,具体过程如下所示。

    9. 用谷歌浏览器选择开发者工具或者按F12,找到相对应的QQ号的链接。

手把手教你利用Python网络爬虫获取APP推广信息

response = requests.post(url=url, data=formdata, headers=kv) html = response.content.decode('utf-8') parse_html = etree.HTML(html) page = parse_html.xpath('//div[@class="wrap"]//div[@class="list-main"]') for li in page: house_dict['项目'] = li.xpath('.//div[@class="main-top"]//b/text()')[0].strip() house_dict['QQ'] = li.xpath('.// div[ @class ="main-com"]//span//a/text()')[0].strip() #print(house_dict)

    10. 将获取的信息写入excel表格

f = open('QQ号.csv', 'a', encoding='utf-8') # 以'w'方式打开文件 f.write(str(house_dict)) print(house_dict) f.write("
")# 键和值分行放,键在单数行,值在双数行 f.close()

    注:cvs文件会出现乱码,我们点击文件选择Excel工作薄,后缀名是xlsx;再点保存即可。

    11. 输入要爬取的页数

pageList = get_page(url, 100)#页数(网址,页数)


/5 效果展示/

    1. 点击绿色按钮运行,将结果显示在控制台,如下图所示。输入你要爬取的页数。

手把手教你利用Python网络爬虫获取APP推广信息

    2. 打开Excel表格,如下图所示。


/6 小结/

1. 学习requests 库的使用以及爬虫程序的编写。

2. 学习使用反爬虫技术手段,并在实际应用中应用这些技术。

3. 不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

4. 希望通过这个项目,能够找到合适的平台进行推广。



以上是关于手把手教你利用Python网络爬虫获取APP推广信息的主要内容,如果未能解决你的问题,请参考以下文章

# yyds干货盘点 # 手把手教你使用Python网络爬虫实现邮件定时发送(附源码)

#yyds干货盘点# 手把手教你使用Python网络爬虫实现邮件定时发送(附源码)

# yyds干货盘点 # 手把手教你进行Python网络爬虫中的Charles+Postern抓包

# yyds干货盘点 # 手把手教你使用Python网络爬虫获取基金信息

手把手教你写网络爬虫:网易云音乐歌单

买基金不会选鸡?手把手教你利用Python爬虫分析基金股票