Python-selenium翻页爬取csdn博客保存数据入mysql

Posted 2021-02-11 bigsmart

 csdn博客部分截图

博客链接：https://blog.csdn.net/kevinelstri/article/list/1?

此次目的是要爬取文章标题，发表文章时间以及阅读数量

1.浏览器打开网址，选择一个右击标题，审查元素。如图

通过观察可以发现每篇文章有一个div，格式大多相同，就可以写爬取代码了

2.爬取文章标题，时间，阅读数的网页定位代码：

count=driver.find_elements_by_xpath("//div[@class=\'article-list\']/div[position()>1]/div/p[3]/span/span")
time=driver.find_elements_by_xpath("//div[@class=\'article-list\']/div[position()>1]/div/p[1]/span")
content=driver.find_elements_by_xpath("//div[@class=\'article-list\']/div[position()>1]/h4/a")

三条代码都是通过xpath定位元素

3.取出爬取元素的值，并且打包成列表(方便数据的对应存储)

time_list=[]
content_list=[]
count_list=[]
for t in time:
time_list.append(t.text)
for c in content:
content_list.append(c.text)
for c in count:
count_list.append(c.text)
end1=list(zip(content_list,time_list,count_list))#将爬取的标题和时间压缩成列表

4.将爬取的数据存入数据库（原本已经在数据库test下建立了表格climb_boke）,

这里选择写了个自定义函数

def Mysql(data):
conn=MySQLdb.connect(host=\'localhost\',user=\'root\',passwd=\'cmy1234\',port=3306)
cur=conn.cursor()
conn.set_character_set(\'utf8\')#设置编码
cur.execute(\'set names utf8;\')
cur.execute(\'set character set utf8;\')
cur.execute(\'set character_set_connection=utf8;\')
cur.execute(\'use test\')
sql=\'\'\'insert into climb_boke(title,time,count) values(%s,%s,%s)\'\'\'
for i in range(0,len(data)):
cur.execute(sql,list(data[i]))#插入的数据必须是列表形势
print("插入数据成功")
cur.execute(\'select* from climb_boke\')
for data in cur.fetchall():
print(data)
conn.commit()
cur.close()
conn.close()

整体代码：

这里翻页我只取了两页，可以做修改

while k<=2:
url=\'https://blog.csdn.net/kevinelstri/article/list/\'+str(k)+\'?\'

最终Navicat查看的成果