scrapy
Posted soyadios
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy相关的知识，希望对你有一定的参考价值。
使用 xpath 选择网页所使用的标签
request传递数据
html response
formrequest 使用 登录界面
内容存储为json lines 文件
setting 文件设置实现 保存在json 文件中
LOG_FORMAT 日志的格式
LOG_DATEDORMAT 日志日期的格式
class
scrapy.statscollectors.MemortStatsCollector
用来获取 内存的使用情况
可以使用文本文件
csv文件 json 文件 jsonlines文件 数据库文件 云存储
创建 scrapy 文件 命令是 scrapy startproject collectips
每一行都要进行 “#-*-coding： utf-8 -*- 进行注释
以上是关于scrapy的主要内容，如果未能解决你的问题，请参考以下文章