Scrapy:虎牙爬取,图片存储与数据分析

Posted yangjing000

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy:虎牙爬取,图片存储与数据分析相关的知识,希望对你有一定的参考价值。

第一次爬取虎牙主播数据,有点小激动

1.共批量爬取的101个主播的,包括

  • 头像
  • 主播名字
  • 房间号
  • 房间链接
    技术分享图片

    2.数据规整部分,需要将json数据加载到pandas的Dataframe,只显示的前15个主播的信息

    技术分享图片

    3.数据绘图部分,有一个字体问题没解决,中文乱码,明日修正

    技术分享图片

以上是关于Scrapy:虎牙爬取,图片存储与数据分析的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy实战篇之爬取360图片数据和图片

Scrapy学习第八课

Scrapy学习第八课

使用scrapy框架爬取某商城部分数据并存入MongoDB

使用scrapy框架爬取某商城部分数据并存入MongoDB

python网络爬虫之使用scrapy爬取图片