爬取厦门地区职务表
Posted w-625
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬取厦门地区职务表相关的知识,希望对你有一定的参考价值。
1. 查找网址http://fj.huatu.com/zt/2019zwb/diqu/9.html
2.找到源代码
3.爬取所需内容
4.编写程序
import requests
from bs4 import BeautifulSoup
import pandas as pd
url="http://fj.huatu.com/zt/2019zwb/diqu/9.html"#爬取厦门职务
headers= {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400‘}#伪装爬虫
r=requests.get(url)#发送请求
r.encoding=r.apparent_encoding#统一编码
data=r.text
soup=BeautifulSoup(data,‘html.parser‘)#使用“美味的汤”工具
x=[]#建立空列表
y=[]
for i in soup.find_all(class_="job_title"):#将目录放在空列表
x.append(i.get_text().strip())
for k in soup.find_all(class_="job_content"):#将职位放在空列表
y.append(k.get_text().strip())
data=[x,y]
a=pd.DataFrame(data,index=["目录","职位"])#数据可视化
print("2019年厦门地区职位数据:","
")#打印
print(a.T)
5.运行结果
以上是关于爬取厦门地区职务表的主要内容,如果未能解决你的问题,请参考以下文章