python爬虫怎么获取动态的网页源码

Posted 2023-05-04

一个月前实习导师布置任务说通过网络爬虫获取深圳市气象局发布的降雨数据，网页如下：

心想，爬虫不太难的，当年跟zjb爬煎蛋网无（mei）聊（zi）图的时候，多么清高。由于接受任务后的一个月考试加作业一大堆，导师也不催，自己也不急。

但是，导师等我一个月都得让我来写意味着这东西得有多难吧。。。今天打开一看的确是这样。网站是基于Ajax写的，数据动态获取，所以无法通过下载源代码然后解析获得。

从某不良少年写的抓取淘宝mm的例子中收到启发，对于这样的情况，一般可以同构自己搭建浏览器实现。phantomJs，CasperJS都是不错的选择。

导师的要求是获取过去一年内深圳每个区每个站点每小时的降雨量，执行该操作需要通过如上图中的历史查询实现，即通过一个时间来查询，而这个时间存放在一个hidden类型的input标签里，当然可以通过js语句将其改为text类型，然后执行send_keys之类的操作。然而，我失败了。时间可以修改设置，可是结果如下图。

为此，仅抓取实时数据。选取python的selenium，模拟搭建浏览器，模拟人为的点击等操作实现数据生成和获取。selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码。普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互。selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好用的就是find_element_by_xpath("xxx")，通过该方式查找到元素后可执行点击、输入等事件，进而向服务器发出请求，获取所需的数据。

[python] view plain copy

# coding=utf-8  

from testString import *  

from selenium import webdriver  

import string  

import os  

from selenium.webdriver.common.keys import Keys  

import time  

import sys  

default_encoding = 'utf-8'  

if sys.getdefaultencoding() != default_encoding:  

reload(sys)  

sys.setdefaultencoding(default_encoding)  

district_navs = ['nav2','nav1','nav3','nav4','nav5','nav6','nav7','nav8','nav9','nav10']  

district_names = ['福田区','罗湖区','南山区','盐田区','宝安区','龙岗区','光明新区','坪山新区','龙华新区','大鹏新区']  

flag = 1  

while (flag > 0):  

driver = webdriver.Chrome()  

driver.get("hianCe/")  

# 选择降雨量  

driver.find_element_by_xpath("//span[@id='fenqu_H24R']").click()  

filename = time.strftime("%Y%m%d%H%M", time.localtime(time.time())) + '.txt'  

#创建文件  

output_file = open(filename, 'w')  

# 选择行政区  

for i in range(len(district_navs)):  

driver.find_element_by_xpath("//div[@id='" + district_navs[i] + "']").click()  

# print driver.page_source  

timeElem = driver.find_element_by_id("time_shikuang")  

#输出时间和站点名  

output_file.write(timeElem.text + ',')  

output_file.write(district_names[i] + ',')  

elems = driver.find_elements_by_xpath("//span[@onmouseover='javscript:changeTextOver(this)']")  

#输出每个站点的数据，格式为：站点名，一小时降雨量，当日累积降雨量  

for elem in elems:  

output_file.write(AMonitorRecord(elem.get_attribute("title")) + ',')  

output_file.write('\\n')  

output_file.close()  

driver.close()  

time.sleep(3600)  

文件中引用的文件testString只是修改输出格式，提取有效数据。

[python] view plain copy

#Encoding=utf-8  

def OnlyCharNum(s, oth=''):  

s2 = s.lower()  

fomart = 'abcdefghijklmnopqrstuvwxyz0123456789,.'  

for c in s2:  

if not c in fomart:  

s = s.replace(c, '')  

return s  

def AMonitorRecord(str):  

str = str.split(":")  

return str[0] + "," + OnlyCharNum(str[1])  


一小时抓取一次数据，结果如下：

参考技术A 没有对方的管理员帐号密码是进不去的，除非黑进去。也就是说正常情况下，没有对方的放权你是不可能进去的

python网络爬虫抓取动态网页并将数据存入数据库MySQL

简述

以下的代码是使用python实现的网络爬虫，抓取动态网页 http://hb.qq.com/baoliao/ 。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。

以上是网页源码

以上是审查网页元素

所以此处不能简单的使用正则表达式来获取内容。

以下是完整的获取内容并存储到数据库的思路及源码。

实现思路：

抓取实际访问的动态页面的url – 使用正则表达式获取需要的内容 – 解析内容 – 存储内容

以上部分过程文字解释：

抓取实际访问的动态页面的url：

在火狐浏览器中，右键打开插件 使用**firebug审查元素** *（没有这项的，要安装firebug插件），找到并打开**网络（NET）**标签页。重新加载网页，获得网页的响应信息，包括连接地址。每个连接地址都可以在浏览器中打开。本网站的动态网页访问地址是：
http://baoliao.hb.qq.com/api/report/NewIndexReportsList/cityid/18/num/20/pageno/1?callback=jQuery183019859437816181613_1440723895018&_=1440723895472

　　

正则表达式:

正则表达式的使用有两种思路，可以参考个人有关其简述：python实现简单爬虫以及正则表达式简述 
更多的细节介绍可以参考网上资料，搜索关键词： 正则表达式 python

json：

参考网上有关json的介绍，搜索关键词： json python

存储到数据库：

参考网上的使用介绍，搜索关键词： 1，mysql 2，mysql python

源码及注释

注意：使用python的版本是 2.7

 

#!/usr/bin/python
#指明编码
# -*- coding: UTF-8 -*- 

#导入python库
import urllib
import urllib2
import re
import MySQLdb
import json

#定义爬虫类
class crawl1:     
    def getHtml(self,url=None):
        #代理
        user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0"
        header={"User-Agent":user_agent}
        request=urllib2.Request(url,headers=header)
        response=urllib2.urlopen(request)
        html=response.read()
        return html

    def getContent(self,html,reg):
        content=re.findall(html, reg, re.S)
        return content

     #连接数据库 mysql
    def connectDB(self):
        host="192.168.85.21"
        dbName="test1"
        user="root"
        password="123456"
        #此处添加charset=‘utf8‘是为了在数据库中显示中文，此编码必须与数据库的编码一致
        db=MySQLdb.connect(host,user,password,dbName,charset=‘utf8‘)
        return db
        cursorDB=db.cursor()
        return cursorDB

      #创建表，SQL语言。CREATE TABLE IF NOT EXISTS 表示：表createTableName不存在时就创建
    def creatTable(self,createTableName):
        createTableSql="CREATE TABLE IF NOT EXISTS "+ createTableName+"(time VARCHAR(40),title VARCHAR(100),text  VARCHAR(40),clicks VARCHAR(10))" 
        DB_create=self.connectDB()
        cursor_create=DB_create.cursor()
        cursor_create.execute(createTableSql)
        DB_create.close()
        print ‘creat table ‘+createTableName+‘ successfully‘      
        return createTableName 

    #数据插入表中
    def inserttable(self,insertTable,insertTime,insertTitle,insertText,insertClicks):
        insertContentSql="INSERT INTO "+insertTable+"(time,title,text,clicks)VALUES(%s,%s,%s,%s)"
#         insertContentSql="INSERT INTO "+insertTable+"(time,title,text,clicks)VALUES("+insertTime+" , "+insertTitle+" , "+insertText+" , "+insertClicks+")"


        DB_insert=self.connectDB()
        cursor_insert=DB_insert.cursor()        
        cursor_insert.execute(insertContentSql,(insertTime,insertTitle,insertText,insertClicks))
        DB_insert.commit()
        DB_insert.close()
        print ‘inert contents to  ‘+insertTable+‘ successfully‘  



url="http://baoliao.hb.qq.com/api/report/NewIndexReportsList/cityid/18/num/20/pageno/1?callback=jQuery183019859437816181613_1440723895018&_=1440723895472"


#正则表达式，获取js，时间，标题，文本内容，点击量（浏览次数）
reg_jason=r‘.*?jQuery.*?((.*))‘
reg_time=r‘.*?"create_time":"(.*?)"‘
reg_title=r‘.*?"title":"(.*?)".*?‘
reg_text=r‘.*?"content":"(.*?)".*?‘
reg_clicks=r‘.*?"counter_clicks":"(.*?)"‘

#实例化crawl()对象
crawl=crawl1()
html=crawl.getHtml(url)
html_jason=re.findall(reg_jason, html, re.S)

html_need=json.loads(html_jason[0])

print len(html_need)
print len(html_need[‘data‘][‘list‘])




table=crawl.creatTable(‘yh1‘)
for i in range(len(html_need[‘data‘][‘list‘])):
    creatTime=html_need[‘data‘][‘list‘][i][‘create_time‘]
    title=html_need[‘data‘][‘list‘][i][‘title‘]
    content=html_need[‘data‘][‘list‘][i][‘content‘]
    clicks=html_need[‘data‘][‘list‘][i][‘counter_clicks‘]
    crawl.inserttable(table,creatTime,title,content,clicks)