从网站上获取数据到Python的

Posted 2021-03-19

我需要从这个网站访问该表 https:/www.tsa.govcoronaviruspassenger-throughput.

我需要把这个表作为一个Pandas数据框架。

之前，我只工作的URLs已经是xls或csv，所以我不知道如何从普通的网站得到的表。

请帮助我

答案

我将尝试提供的出发点。你可以检查的 公文 以获取更多细节。

from bs4 import BeautifulSoup
from urllib.request import Request, urlopen

req = Request('https://www.tsa.gov/coronavirus/passenger-throughput',  headers={'User-Agent': 'Mozilla/5.0'})
html = urlopen(req).read()

soup = BeautifulSoup(html, 'html.parser')
for row in soup.find_all('tr'):
    print(row)

输出是这样的。

 <tr><td><strong>Date</strong></td><td><strong>Total Traveler Throughput</strong></td><td><strong>Total Traveler Throughput<br/>(1 Year Ago - Same Weekday)</strong></td></tr>
 <tr><td>4/21/2020</td><td>92,859</td><td>2,227,475</td></tr>
 <tr><td>4/20/2020</td><td>99,344</td><td>2,594,171</td></tr>
 <tr><td>4/19/2020</td><td>105,382</td><td>2,356,802</td></tr>
 <tr><td>4/18/2020</td><td>97,236</td><td>1,988,205</td></tr>
 <tr><td>4/17/2020</td><td>106,385</td><td>2,457,133</td></tr>