回顾爬虫的时候的一些小TIPS

Posted 2020-10-21 Lawliet_Y

1

json.dumps的时候默认会用ascii

所以在写入文件的时候会需要用到的指令变为json.dumps(a,ensuer_ascii=False)，这样将禁止转换为ascii

然后再写入的时候用f.write(b.encode())

2

xpath做解析的时候发请求头会产生问题，因为很多网站会根据不同的浏览器返回不同的DOM结构

所以很多的时候可以用一个相对老的版本的IE的user-agent

3

xpath

/

.

/

..

//

*

@

[]

|

[]

N/A

()

jsonpath

$

@

.OR[]

N/A

..

*

N/A

[]

[,]

?()

()

N/A

4

xpath helper ：ctrl+shift+x

xpath善用//div[contains(@id , ‘woshiqianbanbu_‘)]/ 模糊查询方式