技术宅怒爬qq空间表白墙,自动化编程的福利哦

Posted 诗一样的代码

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了技术宅怒爬qq空间表白墙,自动化编程的福利哦相关的知识,希望对你有一定的参考价值。

事情是这样子的,前几天和一位粉丝师弟聊天。他说问问我能不能教他爬一下qq空间。我和他沟通了一下,问清楚事情原委。原来是他追求的女神发了qq空间表白墙,他想知道自己女神喜欢的是什么样的人。但是由于发表白墙的人太多,不好找,所以想某一个时间段的全部爬下来,慢慢看。

本来有一定年纪的人,不太清楚原来qq还有表白墙。好家伙,我看了下,原来是像我们那时候读大学时的微博树洞。提起微博树洞估计也得是上了年纪的人才懂。

在这里插入图片描述
大概就是上面图那个样子的。由于帅哥太帅,以免大家嫉妒,我就挡了下。其实也就是爬空间说说而已。

如何登录

如果是爬qq空间,那么第一个问题来了,如果绕过登录?或者有什么方法可以登录呢?其实方法挺多,方法1,填上cookie,不过有的cookie经常变,也不太好用。所以第2个方法,使用浏览器驱动,模拟登录。

这里推荐使用chromedriver,这个驱动自行下载就好,网上有很多。

from selenium import webdriver selenium是web自动化工具,他可以使我们不用人工操作,也可以进行网站浏览,点击啥的。人可以做的事情,这库全部都可以完成。

driver的使用找控件

知道了使用webdriver可以解决上面的难点,那么我们就来操作一下。

 # 获取浏览器驱动
 dr = webdr.Chrome(executable_path='chromedr')
 # 浏览器窗口最大化
 dr.maximize_window()
 # 浏览器地址定向为 qq 登陆页面
 dr.get('网页链接')
 # 所以这里需要选中一下 frame,否则找不到下面需要的网页元素
 dr.switch_to.frame('login_frame')
 # 自动点击账号登陆方式
 dr.find_element_by_id('switcher_plogin').click()
 # 账号输入框输入已知 QQ 账号
 dr.find_element_by_id('u').send_keys(user)
 # 密码框输入已知密码
 dr.find_element_by_id('p').send_keys(pw)
 # 自动点击登陆按钮
 dr.find_element_by_id('login_button').click()

看上面的代码,我们可以看出dr.Chrome(executable_path=‘chromedr’)获取驱动,用dr.get来获取url返回内容,dr.find_element_by_id就是通过id来获取控件。整个过程就是模拟人工点击操作登录空间。

获取内容,并保存

qq_name = div.xpath('./div[2]/a/text()')
qq_content = div.xpath('./div[2]/pre/text()')
qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
if len(qq_name) > 0 
	qq_name = qq_name[0] 
else
	qq_name = ''
if len(qq_content) > 0
	qq_content = qq_content[0]
else
	qq_content = ''
if len(qq_time) > 0 
	qq_time[0] 
else 
	qq_time =''
print(qq_name, qq_time, qq_content)
f.write(qq_content+"\\n")

这里获取内容使用了xpath,这个xpath有必要说一下。需要用到from lxml import etree。大家都知道前端网页是树形结构展示的。这里的lxml库需要自己去下载安装,直接用pip就行了。

image.png

xpath是可以直接在相应的元素右键轻松获取的。

f.write(qq_content+"\\n"),最后我们保存一下内容就行

完整代码如下:

#coding: utf-8
import time
from selenium import webdriver
from lxml import etree
def DO(friend, user , pw):
    print(完整代码,请移步到公众号:诗一样的代码)
 """
 dr = webdriver.Chrome(executable_path='chromedriver')
 dr.maximize_window()
 dr.get('https://i.qq.com/'+friend)
 dr.switch_to.frame('login_frame')
 dr.find_element_by_id('switcher_plogin').click()
 dr.find_element_by_id('u').send_keys(user)
 dr.find_element_by_id('p').send_keys(pw)
 dr.find_element_by_id('login_button').click()
 time.sleep(10)
 dr.switch_to.default_content()
 dr.get('https://i.qq.com/'+friend)
 next_num = 0 
 while 1:
     for i in range(1, 6):
         height = 10000 * i
         strWord = "window.scrollBy(0," + str(height) + ")"
         dr.execute_script(strWord)
         time.sleep(4)

     for div in divs:
         qq_name = div.xpath('./div[2]/a/text()')
         qq_content = div.xpath('./div[2]/pre/text()')
         qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
         if len(qq_name) > 0:
                qq_name = qq_name[0] 
         else:
                qq_name = ''
         if len(qq_content) > 0:
                qq_content = qq_content[0]
         else:
                qq_content = ''
         if len(qq_time) > 0:
                qq_time[0] 
         else:
                qq_time =''
         print(qq_name, qq_time, qq_content)
         f.write(qq_content+"\\n")
     if dr.page_source.find('pager_next_' + str(next_num)) == -1:
         break
     dr.find_element_by_id('pager_next_' + str(next_num)).click()
     next_num += 1
     dr.switch_to.parent_frame()

friend = '空间qq号' 
user = '你的qq号'
pw = '你的qq密码'
DO(friend, user, pw)

大家觉得文章还不错的话,请一键三连吧。

以上是关于技术宅怒爬qq空间表白墙,自动化编程的福利哦的主要内容,如果未能解决你的问题,请参考以下文章

vue实现表白墙效果,大家快学起来吧!!!

ServletAPI的使用案例-前后端交互的表白墙

也等你 [表白墙] 发布!

JavaWeb 项目 --- 表白墙 和 在线相册

制作表白墙,给TA一个惊喜吧

表白墙服务器版交互接口服务器端代码前端代码数据存入文件/数据库