python爬虫抓取股票信息

Posted 2020-10-15 kevin&learn

 

Python爬虫抓取股票信息　　

 

　　介于我们小组的项目需求是需要在网上抓取股票信息，然后做成可视化界面。最开始的想法是利用Java抓取，但是由于Java代码有点冗余，决定使用Python。项目开始，遇到了极大的问题，由于小组成员对于Python的了解认知都有限，我们决定先开始自学，然后写一个简单的爬虫。

 　　但是在最开始的时候就产生了问题，我们最初设想是抓取东方财富网上的股票信息。在我爬到了网页的信息以后，我发现，所有的股票信息都是在页面加载以后才能加载出来，这使初学Python的我产生了极大的困惑，但是介于时间有限，我也没有进行系统的学习。于是，我只能另找方法，在网上寻求帮助。最终，我发现，我可以通过先爬取东方财富网的股票代码信息然后将股票代码放在百度股市通里面查询，百度股市通的股票信息是页面加载的时候就直接加载到页面上的。找到了解决问题的方法，我开始完成了我的代码。

 1 # Author：Kevin Sun
 2 # 上海股票信息
 3 
 4 import requests
 5 from bs4 import BeautifulSoup
 6 import traceback
 7 import re
 8 import time
 9 
10 
11 def getHTMLText(url): #获得所需的网页源代码
12     try:
13         user_agent = ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36‘
14         headers = {‘User-Agent‘: user_agent}
15         r = requests.get(url, headers=headers, timeout=30)
16         r.raise_for_status()
17         r.encoding = r.apparent_encoding
18         return r.text
19     except:
20         return ""
21     
22 def getFileName():
23     dirname = time.strftime(‘%Y%m%d‘,time.localtime(time.time()))
24     dirname+=‘sh‘
25     return  dirname
26     
27     
28 
29 def getStockList(lst, stock_list_url): # 获得东方财富网上面上海股票的全部代码
30     html = getHTMLText(stock_list_url)
31     soup = BeautifulSoup(html, ‘html.parser‘)
32     a = soup.find_all(‘a‘) # 用find_all方法遍历所有‘a‘标签，然后在‘a‘标签里面提取出href部分信息
33     for i in a:
34         try:
35             href = i.attrs[‘href‘]
36             lst.append(re.findall(r"sh6\d{5}", href)[0]) # 用正则表达式匹配所需的信息，“sh\d{6}”
37             #print(lst)
38         except:
39             continue
40 
41 
42 def getStockInfo(lst, stock_info_url, fpath):
43     ndate = time.strftime(‘%Y%m%d‘,time.localtime(time.time()))
44     for stock in lst:
45         url = stock_info_url + stock + ‘.html‘ # 拼接url
46         html = getHTMLText(url)
47         try:
48             if html == "":
49                 continue
50             infoDict = {}
51             soup = BeautifulSoup(html, ‘html.parser‘)
52             stockInfo = soup.find(‘div‘, attrs={‘class‘: ‘stock-bets‘})
53             if stockInfo == None:  # 判断为空，返回
54                 continue
55             # print(stockInfo)
56             # name = stockInfo.find_all(attrs={‘class‘: ‘bets-name‘})[0]
57             # print(name)
58             #infoDict.update({‘股票编码‘:stock})
59             #inp=name.text.split()[0]+":"
60             keyList = stockInfo.find_all(‘dt‘)
61             valueList = stockInfo.find_all(‘dd‘)
62             inp=stock+","+ndate+","
63             for i in range(len(keyList)):
64                 key = keyList[i].text
65                 val = valueList[i].text
66                 infoDict[key] = val
67             #print(inp)
68             inp+=infoDict[‘最高‘]+","+infoDict[‘换手率‘]+","+infoDict[‘成交量‘]+","+infoDict[‘成交额‘]+"\n"
69             print(inp)
70             with open(fpath, ‘a‘, encoding=‘utf-8‘) as f:
71                 
72                 #f.write(str(infoDict) + ‘\n‘)
73                 f.write(inp)
74         except:
75             traceback.print_exc()
76             continue
77 
78 
79 
80 def main(): # 主方法调用上面的函数
81     stock_list_url = ‘http://quote.eastmoney.com/stocklist.html‘
82     stock_info_url = ‘http://gupiao.baidu.com/stock/‘
83     output_file = ‘./‘+getFileName()+‘.txt‘
84     slist = []
85     getStockList(slist, stock_list_url)
86     getStockInfo(slist, stock_info_url, output_file)
87 
88 
89 main()

　　代码中用到了Python中的非常方便的beautifulsoup库（这个库我在这里就不多做解释，我是参考了一个大牛的理解，链接：http://cuiqingcai.com/1319.html），爬虫使用的是谷歌浏览器。代码中我也给了一些注释，由于是Python初学者，有些地方难免有错误，之后在项目结束后会继续学习Python完善。