Python的基本Web Scraping（Beautifulsoup和Requests）

Question

所以我一直在使用Al Sweigart的在线Automate The Boring Stuff With Python教程，我刚刚进入了webscraping部分。这是我的代码，描述了程序应该做什么：

#! python3
# lucky.py - A small program that allows you to get search keywords from
# command line arguments, retrieve the search results page, and open
# a new browser tab for each result

# Steps:
# 1. Read the command line arguments from sys.argv
# 2. Fetch the search result page with the requests module
# 3. Find the links to each search result
# 4. Call the webbrowser.open() function to open the web browser

import sys, requests, bs4, webbrowser

# 1. Read the command line arguments from sys.argv

print('Googling...')

if len(sys.argv) > 1:
    search = ' '.join(sys.argv[1:])

url = "https://www.google.com/#q="

for i in range(len(search.split())):
    url += search.split()[i] + "+"

# 2. Fetch the search result page with the requests module

page = requests.get(url)

# 3. Find the links to each search result

soup = bs4.BeautifulSoup(page.text, 'lxml')
linkElems = soup.select('.r a')

# 4. Call the webbrowser.open() function to open the web browser

numOpen = min(5, len(linkElems))
for i in range(numOpen):
    webbrowser.open("http://google.com" + linkElems[i].get('href'))

所以这里的问题是当我检查linkElems的长度时，它为0，这意味着soup.select（'。r a'）命令无法聚合在class = r内的元素<a>下定义的内容（仅限一个类）用于Google中的搜索结果，使用开发者工具时可以看到）。因此，我的浏览器中没有打开搜索结果的网页。

我认为这个问题可能与HTML解析器无法正常工作有关，或谷歌改变其HTML代码的工作方式（？）。任何洞察这个问题将不胜感激！

Answer 1

另一答案