Datawhale动手学习数据分析

Posted 2021-08-10 GoAl的博客

Task01-数据加载及探索性数据分析

1.1.2

os.getcwd() 查看当前工作目录

read_csv 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为逗号，read_csv中每一个字符串作为一列，所以输出格式为   [891 rows x 12 columns]

read_table 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为制表符（“ \\t ”），read_table中每一行字符串为一列，输出格式为 [891 rows x 1 columns]

通过读取时改变分隔符参数，可以让他们效果一样。

1.1.3

当数据量特别大，我们需要只想读取其中一部分或对数据进行逐块处理时，需要进行逐块读取

1.4.1

pandas 的数据结构：

基本概念：轴（Axis）和标签（Label）

数据框（DataFrame）的数据结构（存储二维数据）

数据框的 row 和 column 是 Axis，行索引和列名称是 Label

序列（Series）的数据结构（存储一维数据）

序列是一堆结构，DataFrame的每一列都是一个序列，序列结构只有行索引，没有列名称。序列包含数据和行索引

1.4.6

在做到该题时，我突然感觉到 del , drop(inplace = True) ,  drop(inplace = False)是不同程度的删除数据 

drop(inplace = False) 是最轻程度的删除数据，它只是返还视图，并不改变DataFrame的存储空间

del 函数和drop(inplace = True) 删除指定列，改变DataFrame的存储空间，并不改变原数据

1.5.5

iloc 和 loc 都是对数据切片处理，只不过输入参数形式不一样

文件名.loc [ [ 行数 ]，[ 列的名称] ]

文件名.loc [ [ 行数 ]，[ 列数] ]

在数据分析中要养成一种思维：选取出对研究结果有价值的列数自由组合，用描述性统计总结样本的数字特征。
 

1.1载入数据
1.1.1任务一：导入numpy和pandas
import numpy as np
import pandas as pd

1.1.2任务二：载入数据
（1）相对路径载入

df=pd.read_csv('train.csv')
必须将数据与jupyter文件放在同一路径下

（2）绝对路径载入

df=pd.read_csv('E:/暑期学习/动手学数据分析/第一单元项目集合/train.csv')
拓展1：TSV与CSV的区别： 1）从名称上即可知道，TSV是用制表符（Tab,'\\t'）作为字段值的分隔符；CSV是用半角逗号（','）作为字段值的分隔符； 2）IANA规定的标准TSV格式，字段值之中是不允许出现制表符的。3) CSV形式相比较TSV形式更常见。

拓展2：

文本文件读取：

1、使用read_table来读取txt文本文件

pandas.read_table(数据文件名, sep=’\\t’, header=’infer’, names=None,index_col=None, dtype=None, engine=None, nrows=None)
2、使用read_csv函数来读取csv、tsv、txt文件

pandas.read_csv(数据文件名, sep=’,’, header=’infer’, names=None, index_col=None,dtype=None, engine=None, nrows=None)

Excel文件读取

pandas.read_excel(文件名, sheetname=0, header=0, index_col=None, names=None, dtype=None)

文本文件存储

DataFrame.to_csv(path_or_buf=None, sep=’,’, na_rep=”, columns=None, header=True,index=True,index_label=None,mode=’w’,encoding=None)

Excel文件储存

DataFrame.to_excel(excel_writer=None, sheetname=None'’, na_rep=”, header=True,index=True, index_label=None, mode=’w’, encodin