从 Webscrape 过滤和格式化数据框

Posted 2023-02-23

【中文标题】从 Webscrape 过滤和格式化数据框

【英文标题】：Filtering and Format dataframe from Webscrape

【发布时间】：2020-04-28 09:04:00

【问题描述】：

我是 Python 新手，但对 R 很了解。我正在尝试从雅虎网站抓取股票价格数据。我成功检索了价格数据并能够创建数据框。但是，雅虎包括何时支付股息。目前，我想忽略股息，但我无法过滤数据框以在支付股息时删除。另外，我想更改Date 列的格式，例如，从Mar 14, 2000 更改为%Y-%m-%d。

来自网络爬虫：

Date           Open            Close
Dec 23, 2019   0.611 Dividend  None
Dec 01, 2019   88.38           88.90

首先，我尝试对'None' 进行过滤，但这是一个空数据框：df.loc[df.Close=='None']

其次，我尝试用类似于 R 中的 gsub 的函数替换 Open 列的 Dividend 方面，但可能做得不正确。我的想法是我可以删除该单元格中的值并替换为新值toRemove，然后过滤这个新值：

re.sub('Dividend','Remove',df.Open,flags=re.I)

在 R 中，我知道您可以使用 str(df) 来获取数据框的结构，而 Python 使用 df.dtypes，但这为我返回了 object，我不知道该怎么做才能修复日期问题。

用于 Webscrape 的代码：

import pandas as pd
import bs4 as bs
import urllib.request

url = 'https://finance.yahoo.com/quote/VT/history?period1=1547078400&period2=1607558400&interval=1mo&filter=history&frequency=1mo'

source = urllib.request.urlopen(url).read()      
soup =bs.BeautifulSoup(source,'lxml')
tr = soup.find_all('tr')

data = []

# formats price data
for table in tr:
    td = table.find_all('td')
    row = [i.text for i in td]
    data.append(row)        

# labels columns
columns = ['Date', 'Open', 'High', 'Low', 'Close', 'AdjClose', 'Volume']

data = data[1:-2]
df = pd.DataFrame(data)
df.columns = columns

【问题讨论】：

只获取 元素不是更好吗？

你这是什么意思？

【参考方案1】：

This answer 应该回答您的日期问题。至于过滤，你应该学会使用df.loc[] 功能。 Kaggle 有一个很好的资源来学习 Pandas 中的数据帧操作。当然，我在此解决方案中不使用 loc。

无论如何，使用apply 和lambda functions，我们可以快速迭代每一行并对您的Open 列进行如下更改。

df['Open'] = df.apply(lambda row: float(row['Open'].split()[0]), axis=1)

我在您的数据框上对此进行了测试，并且可以正常工作。在这种情况下，df.apply() 和 axis=1 将对每一行应用某种函数。在这里，我们选择使用 lambda 函数。值得注意的是，您可以在这里随意命名“行”，但基本上它需要一个名为行的行，然后您可以对其应用任何您想要的操作。

我选择使用row['Open'] 提取每一行的Open 列值，然后使用.split() 在空格上拆分该字符串，然后您可以从那里获取第一个字符串（我们知道它是数字）使用带有[0] 的索引。最后，我将其包裹在 float() 演员表中，以确保它是浮点数而不是字符串。

学习同时使用 apply() 和 lambda 函数在 pandas 中非常有价值。此外，至少对于 pandas 教程，该 kaggle 网站值得一试。

【讨论】：

感谢 Kaggle 的建议，我实际上已经完成了这些课程，但仍有很多需要保留和复习。但是您对 Open 的回答会删除股息，而我需要找到一种过滤和删除股息的方法。我的想法涉及更改单元格值，然后过滤新的单元格值。

啊，我明白了。是的，它们肯定有很多信息。您能否详细说明您要通过股息列实现的目标？

股息不是一列，而是一行。本质上，删除所有包含股息信息的行。

【参考方案2】：

所以我找到了解决股息问题的解决方案。不要将行全部包含在内，而不是附加行，然后进行过滤。本质上，

for table in tr:
        td = table.find_all('td')
        row = [i.text for i in td]
        if len(row)>1: # for each row, but the last "*Close price adjusted for splits...."
            if ('Dividend' not in row[1]): # removes the dividend column
                data.append(row)