结构化数据和非结构化数据的提取Python篇

Posted 2022-12-30 孤寒者

结构化数据和非结构化数据的提取【Python篇】

总结一下Pyhon提供的可以提取结构化数据以及非结构化数据的主流库。

1.常见数据的分类：

依据响应分类（附带对应的常用的解析方法~）：

结构化数据：
   ① json数据（高频出现）
        json模块
        jsonpath模块
    ②xml数据（低频出现）
        re 模块（正则语法）
        lxml模块（xpath语法）
非结构化数据：
	①html
   	    re模块（正则语法）
        lxml模块（xpath语法）
        beautifulsoup（xpath，正则，css选择器）
        pyquery（css选择器）

小知识点：

• xml和html的区别
  html :超文本标记语言，为了更好的显示数据，侧重于显示数据；
  xml : 可扩展性标记语言，为了传输和存储数据，侧重点在于数据内容的本身。

2.爬虫世界数据的分类：

结构化数据：json，xml等
    处理方式：直接转化