爬取某图片的程序:
#图片爬取全代码 import requests import os url=‘http://img0.dili360.com/rw9/ga/M01/4A/3D/wKgBy1p6qJ6ALyaOADWDaIwa9uw587.tub.jpg‘ root=‘D:/北理工爬虫课程/‘ path=root+url.split(‘/‘)[-1]#被加数表示的是图片路径中图片的名字加后缀 try: if not os.path.exists(root): os.mkdir(root)#如果当前根目录不存在,建立这样一个目录 if not os.path.exists(path):#判断图片文件是否已经存在 r=requests.get(url) with open(path,‘wb‘) as f: f.write(r.content) f.close() print(‘文件保存成功‘) else: print(‘文件已存在‘) except: print(‘爬取失败‘)
音频、视频的爬取也是相同的道理。
查询IP地址借用http://m.ip138.com/这个网站,我们发现在查询IP时返回的网址是这样的形式:http://www.ip138.com/ips138.asp?ip=202.204.80.112&action=2
因此我们可以给出这样的代码:
#ip查询全代码 import requests url=‘http://www.ip138.com/ips138.asp?ip=‘ try: r=requests.get(url+‘202.204.80.112‘+‘&action=2‘) r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[-2000:-1000]) except: print(‘爬取失败‘)
r.text[]里的数字是自己多次实验后定的,如果单纯的r.text的话,有可能因为数据量过大使得IDE崩溃。
在之后向网站提交信息时,可以看一下是怎样跟API对接的,可以实现利用python自动提交。