python 爬虫1 開始，先拿新浪微博開始

Posted 2020-09-19

刚刚開始学。

目的地是两个。一个微博，一个贴吧

存入的话，临时还没想那么多。先存到本地目录吧

分词和推荐后面在整合

mysql mongodb hadoop redius 后面在用

我最终知道为什么大家都推荐用python写爬虫了。。。我擦。一些开源的包实在写的太好了

我開始I还百思不得其解的为什么要用python这种语言。我真的用起来非常”蛋疼“

并且。我用这门语言真的像我当初用c语言一样的用的。纯粹的用面向过程的思想写。

一点一点墨迹。。

。尽管我知道他有面向对象的特性。。

。

可是怎么都认为不能习惯，不要说和C# .net 来比

我认为和java 的风格也相差非常大啊。并且即使比c或者matlab 尽管编码非常快。可是keyword和执行调试机制还不是非常熟悉。

。。

你懂的。我非常痛苦

直到我调试模拟认证……做过的人肯定会有经验。我之前工作用.net 做过爬虫（当时也就有个概念），

后来在学习过程里又用java 写过爬虫。爬阿里速卖通。结果失败了（我如今明确当时为什么我失败了。我当时都已经拿到Outh的ssid了

这个ssid 是 验证用户password正确后发回的授权代码，仅仅要有这个全局就不用认证。但是就是跳不到指定的页面。我如今认为肯定是自己主动跳转location 

搞鬼，当然可能还有cookie的原因）可是在python包里完美攻克了这两个问题，全然不用你操心。

所有的cookie从第一个页面到最后目的页面所有接住了

所有写到文件，并且，最重要的是从请求登陆到指定主页之间的授权跳转request（不过head头之间的跳转，全然没有页面）全然被自己主动化处理了

就像浏览器自己处理一样，这让我非常是大喜啊。省了非常多中间页面模拟的麻烦啊！

。！

！！

！！。！！！

！！

！！

！

！！！！

！

！

。

ubuntu14.04  python 自带，

安装了一个beautifulsoup 的 解析器 ，这里我装的是新版本号。不是apt-get自带的版本号

#安装版本号4
apt-get install python-bs4 python-bs4-doc

開始

import cookielib
import os
import re
import urllib
import urllib2
import math

auth_url = ‘http://www.weibo.cn‘
home_url = ‘http://www.weibo.cn‘;
filename=‘FileCookieJar.txt‘

#正則表達式一定要从小往大了写，先配对好配对的部分，先配对特征突出的部分，在往大了写，不然根本写不出来

#[\u4E00-\u9FA5] 这个表示中国字。 之前是没有加一对小括号的。加上表示取出group，在模式串前面写上u 表示unicode 编码的意思？

#之前的大部分样例都是写上个r

reg=u"<a href=(‘http://login.weibo.cn/[^\u4E00-\u9FA5]*?)[>]+?

[\u4E00-\u9FA5]{2}</a>" 
pattern=re.compile(reg)

req = urllib2.Request(home_url) 
req.add_header(‘User-Agent‘, ‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘)

#这一步是把cookies 写入对应的文件

ckjar = cookielib.MozillaCookieJar(filename) 
ckproc = urllib2.HTTPCookieProcessor(ckjar)

opener = urllib2.build_opener(ckproc)

f = opener.open(req) 

#把吃下来的网页写成utf-8 的格式
htm = f.read().decode(‘utf-8‘)
f.close()
ckjar.save(ignore_discard=True, ignore_expires=True)
print htm

#假设要用group 就不能写findall，要用search 或者写finditer 这两个返回的都是match 对象，后面的返回的应该是match列表

#findall 返回的是列表不是match列表 ，finditer 返回的结果能够用 遍历 for match in result ： print match.group(1) 
loginweb=pattern.search(htm).group(1)
print loginweb

#表示从第二个取到倒数第二个，去掉模式串中两头的单引號
loginweb=loginweb[1:-1]
print loginweb
params=loginweb.split(‘;‘)
for param in params:
    print param

wl=WeiboLogin(loginweb,"","")
wl.getweibologin()

这里补充一下：文件头一定要加：

#!/usr/bin/env python
#_*_ coding: utf-8_*_

不然中文的凝视都会报错

接着用上了面向对象的思想

新建了一个类，这也是痛苦的作死过程，可是好歹最后学到了东西

#类会先运行这个函数。构造函数初始化，这个能够自己改，能够重载

def __init__(self, urlse,user, pwd):
        self.url=urlse

#定义拿到登陆页面的方法。想拿到第一步cookie

def getweibologin(self):
        filename=‘FileCookieJar.txt‘
        ckjar = cookielib.MozillaCookieJar(filename)
        print self.url
        req = urllib2.Request(self.url)
        req.add_header(‘User-Agent‘, ‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘)
        opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(ckjar) )
        f = opener.open(req) 
        htm = f.read().decode(‘utf-8‘)
        f.close()
        ckjar.save(ignore_discard=True, ignore_expires=True)
        self.loginweb1(htm)

#模拟登陆的方法

def loginweb1(self,sweb):
        soup=BeautifulSoup(sweb)
        ##这里要用find不用findAll，因findall 拿到的是一系列标签的list

#而且后面大括号表示筛选条件,中括号表示取出标签相应的值
        resp1 = soup.find(‘input‘, attrs = {‘name‘:‘vk‘})[‘value‘]
        resp2=soup.find(‘input‘,attrs={‘name‘:‘backURL‘})[‘value‘]
        flag=resp1.split(‘_‘)[0] #python 从零開始
        passwordflag="password_"+flag
        print passwordflag
        filename=‘FileCookieJar.txt‘
        ckjar = cookielib.MozillaCookieJar(filename)
        rand=random.randint(500000000, 999999999)#生成随机数的方法

#这里也要注意。fiddler的页面请求没有主域名。这里我是把域名拼接起来的。这个真没办法。

还有type 的控制，就是页面请求前面带上的http:// 

#至于是post传值还是get传值，这个包没有规定，假设data 有值就是post方法，假设没有值，那就是get 。可是get方法的请求连接一定要自己拼接好或者继承好

#这个就是精华地方。他从登陆到得到主页面 就这么一个步骤，中间的location的跳转过程所有自己主动完毕，自己主动跳转。

參数cookie所有继承，方便，又不会出错

#这样就完毕了登陆过程，就能够找到人物关系，能够后面的步骤了

        surl="http://login.weibo.cn/login/?rand="+str(rand)+"&backURL=http%3A%2F%2Fweibo.cn%2F&backTitle=%E5%BE%AE%E5%8D%9A&vt=4&revalid=2&ns=1"
        print surl
        req = urllib2.Request(surl)
        req.add_header(‘Accept‘,‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8‘)
        #req.add_header(‘Accept-Encoding‘,‘gzip, deflate‘) #之所以要凝视掉它。是由于加上后，会影响后面的解析，压缩后的页面解析会出问题。干脆不要压缩
        req.add_header(‘Accept-Language‘,‘zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3‘)
        req.add_header(‘User-Agent‘, ‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)‘)

        req.add_header(‘Referer‘,‘http://login.weibo.cn/login/?

ns=1&revalid=2&backURL=http%3A%2F%2Fweibo.cn%2F&backTitle=%CE%A2%B2%A9&vt=‘)
        postdata=urllib.urlencode({
                                   ‘mobile‘:‘账户‘,#这里换成你的账户
                                   passwordflag:‘password‘,##这里换成你的password
                                   ‘remember‘:‘on‘,
                                   ‘backURL‘  :  ‘http%3A%2F%2Fweibo.cn%2F‘,
                                   ‘backTitle‘  :  ‘微博‘,
                                   ‘tryCount‘   :‘‘,
                                   ‘vk‘  :  resp1,
                                   ‘submit‘  :  ‘登录‘
                                   })
        req.add_data(postdata)
        #req.add_header(‘host‘, ‘login.weibo.cn‘)#拼接域名的话就不必要填这两个了
        #req.host=‘login.weibo.cn‘
        opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(ckjar) )
        f = opener.open(req) 
        htm = f.read().decode(‘utf-8‘)
        print htm
        f.close()
        ckjar.save(ignore_discard=True, ignore_expires=True)
        self.findweibo(htm)

#解析定位到自己的微博

def findweibo(self,sweb):
        soup=BeautifulSoup(sweb)
        c=soup.find(‘div‘, attrs = {‘class‘:‘tip2‘})
        print c
        aim=BeautifulSoup(str(c))
        ax=aim.findAll(‘a‘)[0][‘href‘]
        print ax

#这里还补充一个调试技巧。由于分开类来写了。假设从头開始调试要非常长步骤时间，并且重复登陆或者搜集同一个页面会被觉得蜘蛛盗链

#所以在py 文件中 不是class里 和class 同级别缩进增加

if __name__ == ‘__main__‘:

    #写入调用方法的逻辑

用类名().详细方法(參数列表); #相当于实例化对象，然后调用里面方法，然后就能够直接跳到方法里去调试了

明天继续研究怎样抽取微博数据。爱好社区和人物关系数据

补充fiddler 监測浏览器的时候，google chrome 会有问题，监測不了，不知道是不是代理的问题。。

。不愿意深究了

我用的火狐浏览器測试是实用能够监測的。

爬虫模拟的时候用的也是火狐header。

假设你暂停了一下。在继续监測可能就监測不了了，仅仅能重开火狐才又恢复，不知道什么原因。