第一爬成功，纪念一下

Posted 2021-02-28 scrap

看了B站很多免费视频，按照老师的方法试着写了一下，总共耗时3天，当中写入excel文件，出现各种问题，各种错误，查阅了网上各种资源，消耗了两天时间，小白就是小白，基本功不扎实，写代码时碰到问题只能网上到处翻。不过学习python纯属于个人业余爱好，不作为谋生活的工具，能顺利完成这个项目，还是有一点成就感的。我语法什么的只是了解一些，基础不牢固，是直接做项目，以问题为导向，碰到问题，就去查相关的资料，感觉这样挺浪费时间和精力的，还是要系统的学习，奠定坚实的基础才是正道。

总结如下：

• 需求分析
  • 网站：http://125.35.6.84:81/xk/
  • 按照老师的要求，需要爬取对应企业的详细页的全部信息
  • 爬取前4页的企业信息数据并保存
  • 导入excle中存储（自己想做的）
• 网站分析
  • chrame 浏览器 F12
  • 按照老师讲的，网页数据加载有静态加载和动态加载之分，网页源码中能找到想要的数据，就是静态加载数据，反之就是动态加载。刷新网页，如果网址没有变化就是AJAX，在XHR中找发送数据，动态加载采用chrome自带抓包工具。
  • 该网站首页是发送数据是采用post，在Headers中可以看到真正的地址和发送方式及发送数据Form Data
  • 

    

  • 点击一个链接进入详细信息页面，查看源码，是采用ajax动态加载

 

 

• • 点击response可看到应答数据为
  • 

     response数据格式化后可以看出，是一个字典类型的数据，我们想要的数据在‘list[]’列表内

  • 

  • 发送数据Formdata为

• • 应答数据为json数据

格式化后为详细信息，是一个字典数据

• 爬取首页

url = ‘http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList‘#定义地址
headers = {
‘user-agent‘: ‘****‘
}#定义头，头信息删除了
data = {
‘on‘: ‘true‘,
‘page‘: ‘1‘,
‘pageSize‘: ‘15‘,
‘productName‘: ‘‘,
‘conditionType‘: ‘1‘,
‘applyname‘: ‘‘,
‘applysn‘: ‘‘,
}#发送数据
response = requests.post(url=url, headers=headers, data=data)#post响应
page_data = response.json()#json解析

•  爬取详细页

 1 for content in page_data[‘list‘]:
 2     id_no.append(content[‘ID‘])
 3     url1 = ‘http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById‘
 4 for idx in id_no:
 5     data1 = {
 6         ‘id‘: idx
 7     }
 8     res = requests.post(url1, headers=headers, data=data1)
 9     if res.headers[‘Content-Type‘] == ‘application/json;charset=UTF-8‘:
10         page_next = res.json()
11         # print(page_next)
12     content_all.append(page_next)
13     time.sleep(1)#因为采集多页信息时，发现服务器无响应，所以用了一个时间延迟，居然成功了

• 输出excel

为了输出excel，整整折腾了三天时间，查找了各种网络上的资源，用过pandas的DataFrame的to_excel，但是没用成功，可能是在循环遍历字典时赋值方法不对。最后还是转化为列表，采用xlwt的write()方法进行写入

 1 wb = xlwt.Workbook(encoding=‘utf-8‘)
 2 ws = wb.add_sheet(‘sheet1‘)
 3 title = list(content_all[0].keys())
 4 for j in range(len(title)):
 5     ws.write(0, j, title[j])
 6 for i in range(len(content_all)):
 7     m = 0
 8     for k in content_all[i].values():
 9         ws.write(i+1, m, k)
10         m += 1
11 wb.save(‘alldata.xls‘)

 

 

 

 后记

纯粹是个人爱好，自娱自乐，有不对的和可以优化的地方，请多指导、帮助进步。