python怎样抓取securecrt上的数据

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python怎样抓取securecrt上的数据相关的知识,希望对你有一定的参考价值。

通过execl执行是有区别的,通过命令行执行解释器文件就像通过命令行执行普通程序一样,程序名称作为第一个参数,命令行后面依次作为后续参数。正因为对于解释器文件的execl方式和命令行方式执行时选取第一个参数的方式不同,所以对于解释器文件a.py:
(1) 在命令行输入:./a.py arg1 arg2;
(2) execl("./a.py","arg1","arg2",(char*)0));
(3) execl("./a.py",”xxx”,"arg1","arg2",(char*)0));
方式(1)和方式(2)不等价,因为方式(1)中arg1会被当做第二个参数传递给解释器,而方式(2)中arg2会被当做第二个参数传递给解释器。方式(1)和方式(3)是等价的。
对于普通文件foo:
(1) 在命令行输入: ./foo arg1 arg2;
(2) execl("./foo","arg1","arg2",(char*)0))
方式(1)和方式(2)是等价的。
参考技术A 抓取网页数据的方法:
1,BeautifulSoup 处理一下, 修复一些格式上的问题;
2,用lxml提供的xpath解析器抽取网页内容到dict中;
3,用json库将dict转变成JSON;
4,用pymysql库提供的数据库api, 将JSON存储到数据库中。
参考技术B 围观python的众多功能,学习中。。 参考技术C securecrt有脚本功能,支持python语言 参考技术D python有ssh模块,请百度关键字:python ssh

1-1 用Python抓取豆瓣及IMDB上的电影信息

下面的代码可以抓取豆瓣及IMDB上的电影信息,由于每段代码使用的数据源自上一段代码输出的数据,所以需要按顺序执行。

step1_getDoubanMovies.py

 

 1 # -*- coding: utf-8 -*-
 2 ‘‘‘
 3 该脚本得到豆瓣上所有电影的如下信息:
 4 "rate": "7.5",
 5 "cover_x": 2000,
 6 "is_beetle_subject": false,
 7 "title": "鬼乡",
 8 "url": "https://movie.douban.com/subject/26322928/",
 9 "playable": false,
10 "cover": "https://img3.doubanio.com/view/movie_poster_cover/lpst/public/p2226663805.jpg",
11 "id": "26322928",
12 "cover_y": 2820,
13 "is_new": false
14 并保存为csv格式和js格式,但是未去重
15 ‘‘‘
16 import requests    #此处采用requests方法得到网页响应
17 import json
18 import time
19 from pandas import DataFrame
20     
21 def getTagData(tag):
22     data_oneTag=[]    #待添加数据列表
23     page_start=0    #起始页
24     data_oneSubject=[1]    #为了冷启动,使data_oneSubject不为空
25     #设置代理
26     #proxies={ "http": "http://115.159.96.136:1080"}
27     #设置User-Agent
28     headers={"User-Agent":Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36}
29     #当data_oneSubject不为空,也就是始终可以从网页中获取内容时,不停循环    
30     while(data_oneSubject!=[]):
31         #通过修改tag和page_start来不断的修改网址
32         url=https://movie.douban.com/j/search_subjects?type=movie&tag=+tag+&sort=recommend&page_limit=20&page_start=+str(page_start)
33         resp=requests.get(url,headers=headers)
34         #resp=requests.get(url,proxies=proxies,headers=headers)  #发出获取内容请求,得到的resp.text为json字符串
35         data_oneSubject=json.loads(resp.text)  #将json字符串resp.text转换成Python形式,得到的data_oneSubject整体为一个键为‘subjects‘的长度为1的字典
36         data_oneSubject=data_oneSubject[subjects]   #取出data_oneSubject字典中键‘subjects‘对应的值,为20个字典
37         data_oneTag+=data_oneSubject    #将data_oneSubject添加到data_oneTag数据中
38         page_start+=20  #起始页增加20
39         time.sleep(1)    #为了避免请求的太频繁被封掉IP,所以每次循环都要暂停一秒
40     return data_oneTag    #返回标签为tag时所有获得的数据
41 
42 data_allTag=[]    #待添加所有标签的数据集列表
43 moviesNum=0    #所有标签下的电影总数,该数字没有消除重复项
44 for tag in [热门,最新,经典,可播放,豆瓣高分,冷门佳片,华语,欧美,韩国,日本,动作,喜剧,爱情,科幻,悬疑,恐怖,治愈]:
45     data_oneTag=getTagData(tag)   #针对每个标签调用getTagData函数  
46     data_allTag+=data_oneTag    #将每个标签下的得到的数据加入到data_allTag数据集中,最终的data_allTag为数据list数据结构,每一项为一个字典
47     moviesNum+=len(data_oneTag)     #计算所有标签下电影的总数(包含重复项)
48     print tag+:,len(data_oneTag)    #打印出各个标签下得到的电影数
49 
50 print 电影总数为:,moviesNum #打印出总电影数,该数字没有消除重复项
51 for i in range(5):
52     print data_allTag[i][title]+ +data_allTag[i][rate]    #打印出data_allTag的前10项,只输出键‘title‘和‘rate‘对应的值
53 
54 df=DataFrame(data_allTag)
55 
56 #title列为unicode编码格式,在将数据输出为csv格式时会出现编码问题,所以下面三行将title列数据转换为utf-8格式
57 title=df[title]
58 title=title.map(lambda x:x.encode(utf-8))
59 df[title]=title
60 
61 #将结果中rate列的数字转换为float格式
62 rate=df[rate]   #将df的rate列取出,格式为Series
63 rate=rate.map(float)    #将rate列中的数值转换为float格式
64 df[rate]=rate    #将df中的rate列替换为float格式的rate列
65 
66 #将DataFrame格式的结果数据写入csv格式的文件中
67 df.to_csv(doubanMovies.csv,index=False,header=True)
68 
69 # #将数据结构为list的data_allTag转换成json格式后保存到doubanMovie.js文件中
70 # try:
71 #     f1=open(‘doubanMovies.js‘,‘w‘)
72 #     f1.write(json.dumps(data_allTag))    #将list数据结构的data_allTag写入json文件
73 # except:
74 #     print ‘写入js文件未成功!‘
75 # finally:
76 #     f1.close()    #注意关闭文件流

 

step2_getScore.py

 1 # -*- coding: utf-8 -*-
 2 ‘‘‘
 3 该脚本利用step1_doubanMovies.py脚本中得到的csv格式文件进行处理
 4 对豆瓣电影进行了去重
 5 并由rate列得到了score列
 6 ‘‘‘
 7 import pandas as pd
 8 df=pd.read_csv(doubanMovies.csv)
 9 movies_unique=df.drop_duplicates()    #去重
10 movies_unique.to_csv(doubanMovies_unique.csv,index=False,header=True)    #将最终的数据输出
11 print len(movies_unique)
12 
13 def getScore(i):
14     if i>=0 and i<6.0:
15         return 0
16     elif i>=6.0 and i<6.5:
17         return 1
18     elif i>=6.5 and i<7.0:
19         return 2
20     elif i>=7.0 and i<7.5:
21         return 3
22     elif i>=7.5 and i<8.0:
23         return 4
24     elif i>=8.0 and i<=10.0:
25         return 5
26     else: 
27         return None
28 
29 rate=movies_unique[rate]    #取出rate列
30 score=rate.map(getScore)   #对rate列应用getScore函数,得到score列
31 movies_unique[score]=score    #将score列添加到movies_unique
32 movies_unique.to_csv(doubanMovies_score.csv,index=False,header=True)    #将最终的数据输出

step3_getInfoOfOneMovie.py

 

 1 # -*- coding: utf-8 -*-
 2 ‘‘‘
 3 该段代码通过step2_getScore.py得到的doubanMovies_score.csv文件中的每个豆瓣电影的网址
 4 获取每个豆瓣电影的页面内容信息
 5 得到directors导演、leadingRoles主演、releaseDate上映日期
 6 alterNames又名、IMDBurl对应的IMDB链接等信息
 7 ‘‘‘
 8 
 9 from getInfoOfOneMovie_functions import *    #从getInfoOfOneMovie_functions脚本中引入自己定义的函数
10 doubanMovies_score=pd.read_csv(doubanMovies_score.csv)
11 allUrls=doubanMovies_score[url]
12 
13 movieInfo=DataFrame({directors:[],leadingRoles:[],releaseDate:[],alterNames:[],IMDBurl:[]})
14 csvFileName=doubanMovies_scoreInfoAdded.csv    #包含豆瓣电影对应的IMDB网址的数据文件
15 errorStartPoint=1  #为了方便做错误标记,增加该参数,表示上一次运行到哪部电影出错
16 unknownError=DataFrame({directors:[unknownError],leadingRoles:[unknownError],releaseDate:[unknownError],alterNames:[unknownError],IMDBurl:[unknownError]})   #出现严重错误时添加该字符串,为了方便添加,所以使用DataFrame格式
17 for i in range(errorStartPoint-1,len(allUrls)):
18     try:
19         movieInfo=appendOne(movieInfo,str(allUrls[i]))
20         print len(movieInfo)+errorStartPoint-1
21     except:                
22         movieInfo=pd.concat([movieInfo,unknownError])
23         print len(movieInfo)+errorStartPoint-1,with unknownError added
24     finally:
25         movieInfo.to_csv(csvFileName, index=False, encoding=utf-8)

 

step4_getIMDBRate.py

 

 1 # -*- coding: utf-8 -*-
 2 ‘‘‘
 3 该段代码可以通过step3_getInfoOfOneMovie.py得到的
 4 doubanMovies_scoreInfoAdded.csv文件中的IMDBurl
 5 定位到每个豆瓣电影对应的IMDB链接
 6 然后解析IMDB链接的内容,得到每个电影在IMDB上的IMDBRate评分
 7 和numOfPeopleWhoRate打分人数
 8 ‘‘‘
 9 import pandas as pd
10 import urllib2
11 import time
12 import lxml.html
13 from pandas import DataFrame
14 doubanMovie_info=pd.read_csv(doubanMovies_scoreInfoAdded.csv)    #取出数据结构为DataFrame的doubanMovies_info
15 IMDBurl=doubanMovie_info[IMDBurl]    #IMDBurl为一个Series
16 IMDBRateList=[]    #初始化IMDBRateList,就是所有的IMDB评分的一个列表
17 numOfPeopleWhoRateList=[]
18 
19 def getDoc(url):
20     headers = {User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36}
21     request = urllib2.Request(url, headers=headers)  # 发送请求
22     response = urllib2.urlopen(request)  # 获得响应
23     time.sleep(1)
24     content = response.read()  # 获取网页内容
25     doc = lxml.html.fromstring(content)  # 可能是将网页以xml格式解析
26     return doc
27 
28 #函数:获得IMDB评分
29 def getIMDBRate(doc,oneIMDBurl):
30     #匹配IMDB评分的xpath路径
31     tempList=doc.xpath(//*[@id="title-overview-widget"]/div[2]/div[2]/div/div[1]/div[1]/div[1]/strong/span/text())
32     return float(tempList[0])   #返回的是float格式的数据
33 
34 #函数:将类似于‘123,456‘的字符串转换为int数据类型123456
35 #因为得到的评分人数的格式为‘123,456‘
36 def toInt(numWithDot):
37     temp1=numWithDot.split(,)  #首先将字符串以‘,’分割成list
38     temp2=‘‘   #初始化一个字符串
39     for i in range(len(temp1)):    #通过循环,将temp1中的各个元素项合并成一个字符串
40         temp2+=temp1[i]
41     temp2=int(temp2)    #将合并后的数字字符串转换成int格式
42     return temp2
43 
44 #函数:得到评分人数
45 def getNumOfPeopleWhoRate(doc,oneIMDBurl):
46     #匹配评分人数的xpath路径
47     tempList=doc.xpath(//*[@id="title-overview-widget"]/div[2]/div[2]/div/div[1]/div[1]/a/span/text())
48     temp=str(tempList[0])  #得到人数,此时为str数据类型
49     numOfPeopleWhoRate=toInt(temp)  #用前面定义的函数转换数据为int类型
50     return numOfPeopleWhoRate    #返回int类型的评分人数
51 
52 num=1   #没有IMDB链接的电影个数,用作统计
53 startPoint=1 #为了在出错时,从错误的地方重新开始运行,设置了该错误点参数
54 for i in range(startPoint-1,len(IMDBurl)):
55     print i+1    #打印出当前位置,作为标记
56     try:
57         #由于有些电影没有IMDB链接,所以要进行判断
58         if IMDBurl[i]!=-:    #如果有IMDB链接
59             doc=getDoc(IMDBurl[i])    #得到xml格式数据
60             #得到IMDB评分
61             IMDBRate=getIMDBRate(doc,IMDBurl[i])
62             IMDBRateList.append(IMDBRate)    #将得到的IMDB评分加入IMDBRateList中
63             #得到评分人数
64             numOfPeopleWhoRate=getNumOfPeopleWhoRate(doc,IMDBurl[i])
65             numOfPeopleWhoRateList.append(numOfPeopleWhoRate)    #将评分人数加入列表
66         else:    #如果没有IMDB链接,将两个list列表中都加入‘-‘表示没有值
67             print Movie:,i+1,Without IMDBurl,No.,num  #打印出没有IMDB链接的电影相关信息
68             num=num+1    #没有IMDB链接的电影数加1
69             IMDBRateList.append(-)
70             numOfPeopleWhoRateList.append(-)
71     except:    #发生未知错误时,将两个list列表中加入‘unknownError‘,表示出现未知错误
72         print unknownError happened!
73         IMDBRateList.append(unknownError)
74         numOfPeopleWhoRateList.append(unknownError)
75     finally:
76         #将两个list列表转换成DataFrame格式,方便往csv格式文件中添加
77         IMDBRate=DataFrame({IMDBRate:IMDBRateList,numOfPeopleWhoRate:numOfPeopleWhoRateList})   #将IMDBRateList转换为DataFrame格式,方便加入其他数据中
78         #将DataFrame格式的结果添加到csv格式文件中
79         IMDBRate.to_csv(IMDBRate.csv,index=False,encoding=utf-8)

 

step5_final.py

 

 1 # -*- coding: utf-8 -*-
 2 from pandas import DataFrame
 3 import pandas as pd
 4 
 5 def getScore(i):
 6     if i>=0 and i<6.0:
 7         return 0
 8     elif i>=6.0 and i<6.5:
 9         return 1
10     elif i>=6.5 and i<7.0:
11         return 2
12     elif i>=7.0 and i<7.5:
13         return 3
14     elif i>=7.5 and i<8.0:
15         return 4
16     elif i>=8.0 and i<=10.0:
17         return 5
18     else: 
19         return None
20 ###################################################
21 ##将IMDB评分转换为5分制
22 #df=pd.read_csv(‘doubanMovies_IMDB.csv‘)
23 #score_IMDB=[]
24 #for i in range(len(df)):
25 #    if df.ix[i,‘IMDBRate‘]!=‘No Rating‘ and df.ix[i,‘IMDBRate‘]!=‘-‘:
26 #        score_IMDB.append(getScore(float(df.ix[i,‘IMDBRate‘])))
27 #    else:
28 #        score_IMDB.append(df.ix[i,‘IMDBRate‘])
29 #        
30 #df[‘score_IMDB‘]=score_IMDB
31 #df.to_csv(‘doubanMovies_IMDBScore.csv‘)
32 ###################################################
33 
34 ############################################################################
35 #将豆瓣和IMDB的rate合并,并配置权重
36 #如果没有相应的IMDB链接,或者有IMDB链接,但是没有评分
37 #则合并后的rate就采用豆瓣的rate
38 #最后将合并后的rate转化为5分制
39 df=pd.read_csv(doubanMovies_IMDBScore.csv)
40 weight_douban=0.5    #豆瓣的rate的权重值
41 weight_IMDB=1-weight_douban    #IMDB的rate的权重值
42 rate_doubanAndIMDB=[]   #初始化合并后的rate列表
43 score_final=[]    #初始化最终的评分列表
44 
45 #得到豆瓣rate和IMDBRate加权后rate_doubanAndIMDB列表
46 for i in range(len(df)):
47     df.ix[i,rate]=float(df.ix[i,rate])    #为防止出错,再加这么一句 
48     if df.ix[i,IMDBRate]!=No Rating and df.ix[i,IMDBRate]!=-:
49         df.ix[i,IMDBRate]=float(df.ix[i,IMDBRate])    #将数据集中的IMDBRate数据转换为float格式 
50         #将rate和IMDBRate进行加权        
51         temp=weight_douban*(df.ix[i,rate])+weight_IMDB*(df.ix[i,IMDBRate])
52         #将加权后的rate值加入到 rate_doubanAndIMDB列表中       
53         rate_doubanAndIMDB.append(temp)
54     else:
55         #如果没有IMDB链接或IMDB没有评分,则直接使用豆瓣的rate值
56         rate_doubanAndIMDB.append(df.ix[i,rate])
57 
58 #利用加权后的rate值得到最终的分数值score_final列表
59 for i in range(len(df)):
60     score_final.append(getScore(rate_doubanAndIMDB[i]))
61      
62 df[rate_doubanAndIMDB]=rate_doubanAndIMDB
63 df[score_final]=score_final
64 df.to_csv(test.csv,index=False)
65 ############################################################################

 

getInfoOfOneMovie_functions.py

 

  1 #-*- coding:utf-8 -*-
  2 ‘‘‘
  3 该段代码定义了若干getInfoOfOneMovie.py中用到的函数
  4 前面6个函数都在第7个函数也就是appendOne中调用
  5 ‘‘‘
  6 import lxml.html
  7 import time
  8 from pandas import DataFrame
  9 import urllib2
 10 import pandas as pd
 11 import re
 12 
 13 #得到网页的xml格式数据内容
 14 def getDoc(url_oneMovie):
 15     headers = {User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36}
 16     request = urllib2.Request(url_oneMovie, headers=headers)  # 发送请求 
 17     response = urllib2.urlopen(request)  # 获得响应 
 18     time.sleep(1) 
 19     content = response.read()  # 获取网页内容  
 20     doc = lxml.html.fromstring(content)  # 可能是将网页以xml格式解析 
 21     return doc
 22     
 23 #通过xml数据得到导演信息
 24 def getDirectors(doc,url_oneMovie):
 25     directors=doc.xpath(//*[@id="info"]/span[1]/span[2]/a/text())
 26     #将列表中的每一项先转换成unicode,再转换成utf-8格式    
 27     for i in range(len(directors)):
 28         directors[i]=unicode(directors[i]).encode(utf-8) 
 29     return directors  #返回的是list
 30     
 31 #通过xml数据得到主演信息
 32 def getLeadingRoles(doc,url_oneMovie):
 33     leadingRoles=doc.xpath(//*[@id="info"]/span[3]/span[2]/a/text())
 34     #有些有些豆瓣电影信息里没有编剧这一项,所以主演会在第二条信息里。
 35     #所以需要判断得到的主演列表是否为空
 36     #将列表中的每一项先转换成unicode,再转换成utf-8格式
 37     if leadingRoles==[]:
 38         leadingRoles=doc.xpath(//*[@id="info"]/span[2]/span[2]/a/text())
 39     for i in range(len(leadingRoles)):
 40         leadingRoles[i]=unicode(leadingRoles[i]).encode(utf-8)    
 41     return leadingRoles  #返回的是list
 42 
 43 #通过xml数据得到上映日期信息
 44 def getReleaseDate(doc,url_oneMovie):
 45     releaseDate=doc.xpath(//*[@id="info"]/span/text())   #得到的是一个list,其中有一个元素是上映日期
 46     #将列表中的每一项先转换成unicode,再转换成utf-8格式    
 47     for i in range(len(releaseDate)):
 48         releaseDate[i]=unicode(releaseDate[i]).encode(utf-8) 
 49     temp=re.compile(r\d*-\d*-\d*)
 50     for i in range(len(releaseDate)):
 51         if re.findall(temp,releaseDate[i])!=[]:  #findall返回的是能匹配到的list,所以用是否为[]进行判断
 52             return releaseDate[i] #返回的是str
 53 
 54 #通过xml数据得到又名信息
 55 def getAlterNames(doc,url_oneMovie):
 56     tempList=doc.xpath(//*[@id="info"]/text())  #得到的是一个list,最后一个非空的元素就是又名
 57     #将列表中的每一项先转换成unicode,再转换成utf-8格式    
 58     for i in range(len(tempList)):
 59         tempList[i]=unicode(tempList[i]).encode(utf-8) 
 60     #取出‘又名’的名字字符串  
 61     temp=re.compile(r\S)     #匹配非空字符串的正则表达式
 62     for i in range(len(tempList)):     #取出非空字符串,最后一个才是‘又名’
 63         if re.findall(temp,tempList[i])!=[]:  #如果匹配的结果非空
 64             alterNames=tempList[i]    #由于不停的循环,找到的最后一个非空的字符串才是’又名‘
 65     return alterNames    #返回‘又名’,格式为str
 66 
 67 #通过xml数据得到IMDB链接信息
 68 def以上是关于python怎样抓取securecrt上的数据的主要内容,如果未能解决你的问题,请参考以下文章

python怎样抓取网页中的文字和数字数据

怎样用python抓取淘宝评论

如何使用SecureCRT传输文件

Python中怎样获取一网页上的内容?我想通过python读取网页上的各个不同的单词和分别出现的次数

我用python抓取了一千个新闻标题,请问怎样把新闻标题里面,含有“华为”两个字的标题筛选出来?

python&amp;php数据抓取爬虫分析与中介,有网址案例