优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

Posted 2020-08-29 AugusKong

 P3 OpenStreetMap 项目思路整理

P3项目的核心在于数据的整理 data cleaning 数据清洗，数据来源于开源的OpenStreetMap平台，该平台上的很多数据都是开发者自行输入的，难免会造成数据的混乱和缺失，错误，也就是所说的dirty data 脏数据 human involved

data cleaning的关注点 validity completeness accuracy consistency uniformity 

validity 有效性 数据是否符合常理 人名不应该是数字

completeness 完整性 数据记录表格中的数据是否记录完整

accuracy 准确性  数据是否符合实际情况 一个国家的人口值，国土面积

consistency 一致性

uniformity 统一性  单位是否统一

项目评估准则 中的地图中遇到的问题：

举例 ：使用蓝图的实例中  使用编写的audit()函数来统计道路名称的种类  代码使用了cElementTree 正则表达式（正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配）

图1. 统计所用的audit()函数代码

 

 

图2. 部分统计结果

 

XML （Extensible Markup Language）数据处理基础： 

1. XML 与 html 关系： XML用来存储和传输数据 HTML用来展示数据 （XML可以自定义标签，具备自我描述性）

　　　　　　　　　　　  XML将数据从HTML文件中分离出来，简化数据的传输，共享，更新

 

一个XML文件的示例 简单的一个便签文本

标签是处理的核心，读懂标签就能够对数据进行整理分类

 

 

树形结构文档 根元素，子元素，元素的属性

shil

 

构建http请求：待完成

 OSM XML 文件基础：

1.迭代解析 创建一个tag标签，初步了解一个数据集的标签总数，通过逐一解析标签来完成数据分析工作总而避免将数据全部导入到内存中占据过大的内存空间。 使用解析器 parsing service.