简单的网页更改或按钮删除和抓取的数据是无用的
Posted
技术标签:
【中文标题】简单的网页更改或按钮删除和抓取的数据是无用的【英文标题】：Simple webpage change or button removed and scraped data is useless 【发布时间】：2018-06-03 23:11:00 【问题描述】：我遇到了很多页面，这些页面通过一个简单的按钮删除或什至只是页面中的一个小故障来破坏刮擦。
这个问题似乎经常出现，但我不确定如何解决它。从本质上讲，随着团队、赔率和任何东西的消失，它会获得带有链接的 xpath：( //*[contains(@class, "sport-block") and .//div/div]//*[contains(@class, "purple-ar")])。正如它应该的那样，但不是团队和几率造成无用的刮擦。
我最初使用 CSS 选择器，但我无法想象在 CSS 的限制下如何实现。
我追求的简单 xpath：
//*[contains(@class, "sport-block") and .//div/div]//*[contains(@class, "purple-ar")]
问题依然存在。
我对祖先和之前的东西不是很熟悉......但是像 xpath 之类的东西：
即：//a/ancestor::div[contains(@class, 'xpath')]/preceding-sibling::div[contains(@class, 'xpath')]//a
到：
//a/ancestor::div[contains(@class, 'table-grid')]/preceding-sibling::span[contains(@class, 'sprite-icon arrow-icon arrow-right arrow-purple')]//a
可能会解决（假设我可以让它工作）。
<td class="top-subheader uppercase">
<span>
English Premier League Futures
</span>
</td>
</tr>
<tr>
<td class="content">
<div class="titles">
<span class="match-name">
<a href="/sports-betting/soccer/united-kingdom/english-premier-league-futures/outright-markets-20171226-616961-22079860">
Outright Markets
</a>
</span>
<span class="tv">
26/12
</span>
<span class="other-matches">
<a href="/sports-betting/soccer/united-kingdom/english-premier-league-futures/outright-markets-20171226-616961-22079860" class="purple-arrow">5 Markets
<span class="sprite-icon arrow-icon arrow-right arrow-purple"></span>
</a>
</span>
有什么想法可以解决这个问题吗？谢谢。
当前输出：
Steaua Bucharest Link for below
Celtic Link for below
Napoli Link for below
Lyon Link for below
期望：
Steaua Bucharest LINK FOR Steaua Bucharest
Celtic Link Celtic
Napoli Link for Napoli
Lyon Link for Lyon
有什么想法可以解决这个问题吗？甚至缩小范围？持久的问题。谢谢。
【问题讨论】：
'xpath' 如 //a/ancestor::div[contains(@class, 'xpath')]/preceding-sibling::div[contains(@class, 'xpath ')]//a 不是 xpath，它是 Attribute Value。您尝试自动化的具体手动步骤是什么？
@DebanjanB 我正在尝试调整 xpath，以便抓取输出不均匀这里是我的完整代码：pastebin.com/qBxe38Cy。我使用过 css: .match-name a 但我不确定这个输出问题是否可以在 css 中解决。
@DebanjanB 我对这种方法不是很熟悉。从来没有真正需要使用它，但事实证明，如果表格丢失或页面更改只是一点点，抓取数据结果会向下移动一列
您能否更准确地了解您正在寻找的输出？您是否必须使用Selenium？
不太清楚你在问什么......你无法通过 Xpath 找到元素，对吧？
【参考方案1】：
为了确保每个组的数据结构完好无损，我遍历它们并使用嵌套（或相对？我不确定这里的术语）XPath 来获取数据。可以通过在每个查询前放置 . 来使用相对 XPath。
我也清理了一下：
您抓取了一堆链接并使用它们遍历页面直到完成。我用一个while循环替换了它。 我添加了大量的 try / 除了捕获尽可能多的数据。 我在每个新页面上添加了休眠以允许加载数据（可以根据您的网络连接手动调整时间）。如果这能解决您的数据一致性问题，请告诉我。
import csv
import os
import time
from random import shuffle
from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait as wait
driver = webdriver.Chrome()
driver.set_window_size(1024, 600)
driver.maximize_window()
driver.get('https://crownbet.com.au/sports-betting/soccer')
header = driver.find_element_by_tag_name('header')
driver.execute_script('arguments[0].hidden="true";', header)
header1 = driver.find_element_by_css_selector('div.row.no-margin.nav.sticky-top-nav')
driver.execute_script('arguments[0].hidden="true";', header1)
# XPaths for the data
groups = '//div[@id="sports-matches"]/div[@class="container-fluid"]'
xp_match_link = './/span[@class="match-name"]/a'
xp_bp1 = './/div[@data-id="1"]//span[@class="bet-party"]'
xp_ba1 = './/div[@data-id="3"]//span[@class="bet-amount"]'
xp_bp3 = './/div[@data-id="3"]//span[@class="bet-party"]'
xp_ba3 = './/div[@data-id="3"]//span[@class="bet-amount"]'
while True:
try:
# wait for the data to populate the tables
wait(driver, 5).until(EC.element_to_be_clickable((By.XPATH, (xp_bp1))))
time.sleep(2)
data = []
for elem in driver.find_elements_by_xpath(groups):
try:
match_link = elem.find_element_by_xpath(xp_match_link)\
.get_attribute('href')
except:
match_link = None
try:
bp1 = elem.find_element_by_xpath(xp_bp1).text
except:
bp1 = None
try:
ba1 = elem.find_element_by_xpath(xp_ba1).text
except:
ba1 = None
try:
bp3 = elem.find_element_by_xpath(xp_bp3).text
except:
bp3 = None
try:
ba3 = elem.find_element_by_xpath(xp_ba3).text
except:
ba3 = None
data.append([match_link, bp1, ba1, bp3, ba3])
print(data)
element = driver.find_element_by_xpath('//span[text()="Next Page"]')
driver.execute_script("arguments[0].scrollIntoView();", element)
wait(driver, 5).until(EC.element_to_be_clickable((By.XPATH, '//span[text()="Next Page"]')))
element.click()
with open('test.csv', 'a', newline='', encoding="utf-8") as outfile:
writer = csv.writer(outfile)
for row in data:
writer.writerow(row)
except TimeoutException as ex:
pass
except NoSuchElementException as ex:
print(ex)
break
【讨论】：
有没有依赖css的方法？即使稍微偏离，xpath 也会变得非常冗长和挑剔，即 //*[@id='sports-matches']/div/div/div/table/tbody/tr/td[2]。原来的 pastebin 最近过期了，这是无限期的。 pastebin.com/3aaC3ZiX @user9099 为什么在 CSS 中需要这个？你想达到什么目的？它看起来像您识别的数据组。识别组内的数据是在我发布的脚本中处理的。它在变量groups 中表示。各组的子查询在每次查询前加上.前缀，所以xp_match_link、xp_bp1等都包含各组的子查询。以上是关于简单的网页更改或按钮删除和抓取的数据是无用的的主要内容，如果未能解决你的问题，请参考以下文章