python爬取舔狗语录 初识selenium
Posted 就很有趣
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬取舔狗语录 初识selenium相关的知识,希望对你有一定的参考价值。
前言
首先咱们先看看舔狗的卑微经历吧
看看这卑微的聊天记录,就是那种你发十句,别人不稀得回一句的那种,虽然是舔狗吧,但也玩出花吗,最近刚发现了一个舔狗网站,来看看怎么把舔狗玩出花吧
分析页面
其实很简单的一个页面,总的流程就是实现点击换页,然后进行文本的获取
先来看看页面
主要就是两步,通过xpath获取到文本和按钮,然后进行分别操作,先来写一下xpath
因为整个页面只有一个按钮标签,所以获取按钮的xpath很简单,如下图所示
然后来获取文本内容,与按钮相同,该页面中也只有一个article标签,所以很容易写xpath,如下图,很简单就拿到了
这样其实就完成了,然后接下来就可以开始写代码了
主要代码
selenium伪装
url = 'https://www.nihaowua.com/dog.html'
# 躲避智能检测
option = webdriver.ChromeOptions()
# option.headless = True
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
driver.get(url)
获取文本内容
text = driver.find_element(By.XPATH, '//article')
print(text.text)
获取按钮并点击
button = driver.find_element(By.XPATH, '//button')
button.click()
完整代码
url = 'https://www.nihaowua.com/dog.html'
# 躲避智能检测
option = webdriver.ChromeOptions()
# option.headless = True
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
driver.get(url)
i = 0;
while 1:
text = driver.find_element(By.XPATH, '//article')
print(text.text)
value = text.text
button = driver.find_element(By.XPATH, '//button')
button.click()
time.sleep(1)
driver.switch_to.window(driver.window_handles[0])
成果
这光看不存好像不大符合我这白嫖心理,就把这些内容存在数据库里,有需要sql文件的xdm可以私信我
总之,蛮简单的一个小爬虫,没事的时候写写,防止自己忘了基础使用
仅供学习,侵权必删
推荐下自己的爬虫专栏,都是一些入门的爬虫样例,有兴趣的兄弟们可以来看看,顺便点一手关注
❤️爬虫专栏,快来点我呀❤️
另外还有博主的爬虫博客目录,进来你才知道对你有没有用,来看看吧
爬虫样例汇总,快来看看吧
以上是关于python爬取舔狗语录 初识selenium的主要内容,如果未能解决你的问题,请参考以下文章
王校长撩妹不成反被锤爆?再有钱的舔狗也只是舔狗Python爬虫实战:微博评论采取