用cookies 登录 vijos 爬取第一页题目标题

Posted 2020-07-13

 1 import requests
 2 import codecs
 3 from bs4 import BeautifulSoup
 4 
 5 
 6 cookie={"VJ_SESSION":"3b8erpbikd34l9ogj4a6f9lvj0",
 7         "VJ_SESS_SRID":"5745b9ea17f3ca575ff6a0aa",
 8         "VJ_SESS_SKEY":"fcc2a8c17582659cec7469dbc2add67d10d2fcdfa8ae2cb0eb31734a236e103696bc532dbe85dc536acd1731890f65706b2da6d4639cab8295448b8f6e0bd89d41bd8733c745744eb26e3a0a363866d909bcd90d77327237ce57a9fe49782f6d59aea525712ce7fc0996c60436cbcbc6784da364b92c239a7f650e33a6c5f9f4",
 9         "VJ_SESS_SUID":"103909"
10         }
11 
12 
13 header1={‘User-agent‘:‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/31.0.1650.63 Safari/537.36‘}
14 
15 
16 
17 res=requests.post(‘https://vijos.org/p‘,headers=header1,cookies=cookie)
18 cont=res.content.decode(‘utf-8‘)
19 
20 soup=BeautifulSoup(cont,‘lxml‘)
21 s=soup.select(‘#page_problems_all > div.vj-layout-col > div.vj-layout-col-left > div > div > div > table > tbody > tr > td.vj-list-td.vjlc3 > div > div > a‘)
22 
23 
24 f=codecs.open(‘vijos.txt‘,‘wb‘,‘utf-8‘)
25 
26 
27 for i in s :
28  f.writelines(str(i.get_text())+‘\r\n‘)
29 f.close()

 

cookie 字典 是浏览器开发者工具上复制的

用了 beautifulsoup   21行地址是开发者工具 找到元素位置  然后 copy selector ，复制下来进行一点简单处理  

接下来就很简单了

 

但是还是不会用账号密码直接登录  （即使vijos 不需要验证码 ）

以后会了再写一篇吧