如何从网站获取文本数据并使用python存储为excel文件

Posted

技术标签:

【中文标题】如何从网站获取文本数据并使用python存储为excel文件【英文标题】:how to fetch text data from website and storing as excel file using python 【发布时间】:2021-12-27 15:42:07 【问题描述】:

我想创建一个脚本来获取以下网站中的所有数据:https://www.bis.doc.gov/dpl/dpl.txt 并将其存储在一个 excel 文件中并使用 python 语言计算其中的记录数。我试图通过将代码实现为:

import requests
import re
from bs4 import BeautifulSoup

URL = "https://www.bis.doc.gov/dpl/dpl.txt"
page = requests.get(URL)
soup = BeautifulSoup(page.text, "lxml")
print(soup)

我已获取数据,但不知道下一步将其存储为 excel 文件。任何人请指导或分享您的宝贵想法。提前谢谢!

【问题讨论】:

【参考方案1】:

您可以使用 pandas 轻松完成。由于数据是制表符分隔值。

注意:需要安装openpyxl 才能正常工作。

import requests
import io
import pandas as pd

URL = "https://www.bis.doc.gov/dpl/dpl.txt"
page = requests.get(URL)
df = pd.read_csv(io.StringIO(page.text), sep="\t")
df.to_excel(r'i_data.xlsx', index = False)

【讨论】:

非常感谢兄弟抽出宝贵的时间来分享这篇文章!它真的很棒:)

以上是关于如何从网站获取文本数据并使用python存储为excel文件的主要内容,如果未能解决你的问题,请参考以下文章

在C++中如何读取文本中的数据存储为数组变量?

使用数据库存储和获取网站的 html 页面

python 实现v2ex的自动登录并签到

使用 Python 从站点获取实时日期(例如天气预报)[关闭]

如何使用 Scrapy 从网站获取所有纯文本?

如何使用python3将输入数据存储到文本文件中并打印数据输出?