数据获取,解析，存储等知识的学习总结
作者：csj
更新时间:2017.12.31
email:[email protected]
说明：因内容较多，会不断更新 xxx学习总结，此部分已更新完；
回主目录：2017 年学习记录和总结
我们在数据处理，数据分析时，数据的来源有：
1.直接读取已有的.csv;.txt;.excel文件；
2.解析json数据；
3.url获取数据；自己在网上或指定的网站抓取，解析，来获取数据。
这部分我们主要讲解第3点，如何自己从网站抓取数据，解析数据，存储数据；一般从指定url获取数据，清洗数据，保存到csv文件里；
主要的知识点有：
1.HTTP请求处理requests:
定制头部信息
Post表单提交
Cookie设置与读取
超时设置
2.XML/Json解析
内置json库
dump(s)：把dict转换为json文本
Load(s)：把json文本转换为dict
htmlParser：
DOM:特点
SAX:特点
3.CSS定位器基础知识
定位方式 同过html,css的页面元素来定位
元素 element
类 .class, element.class1.class2
Id, element
属性 [prop=value], element[prop=value]
4.静态网页解析
BS4:find函数搜索使用
使用css定位器搜索，获取所需要的数据
5.反爬虫用到的主要方法
伪装浏览器
伪装多个IP
操作速度不要太快
使用不同账号
6.使用REDIS实现队列服务
7.Selenium
写定位信息,快速和稳定地定位页面上的元素