数据探索与数据预处理的实验报告

Posted xu_yushu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据探索与数据预处理的实验报告相关的知识,希望对你有一定的参考价值。

数据探索与数据预处理

提示

参考书:张良均《Python数据分析与挖掘实战》等。

数据文件:课本自带数据。

使用软件:Pycharm。

类别:实验。

温馨提示:该实验是跟张良均这本书配合使用的,代码运行于Pycharm。

一、 实验目的

1、了解数据探索基本方法。

2、了解数据预处理基本方法。

二、 实验环境

1、操作系统:Windows 10。

2、代码运行环境:Jupyter notebook或Pycharm。

三、 实验原理

1、使用数据挖掘的定义及流程。

2、使用数据挖掘基本方法,应用。

3、使用Python数据分析工具。

4、使用数据对象,属性类型,基本统计描述,可视化,相似性与相异性度量。

5、运用数据预处理基本思想,数据离散化,清洗,特征提取与特征选择。

四、 实验步骤与实验结果

4.1 实验步骤:

1、 数据探索(数据:某餐饮企业的餐饮日销售额数据表catering_sale.xls)

(1.1)对给定数据,首先查看数据基本情况,使用describe方法。

(1.2)分析集中趋势,包括均值,中位数,众数指标。

(1.3)分析离散趋势,包括极差,四分位间距等,并给出五数概况。

(1.4)以月份为单位,绘制月度销售额直方图(bar),以及按月份时间递增的销售额变化折线图(plot)。

2、 绘制词云,使用数据为《XX大学防控疫情确保开学安全工作方案》。(注意先要将文档转化为可处理的txt)

3、 数据预处理

(3.1)数据清洗-缺失值处理。给定catering_sale.xls,其中2015年2月14日数据缺失。采用合适方法进行数据增补。

(3.2)连续属性离散化。针对医学中的中医证型数据,discretization_data.xls,分别用等宽和等频进行离散化。

(3.3)主成分分析法降维。利用主成分分析法PCA,对数据principal_component.xls进行降维,要求降维后数据保留95%原数据信息即可。

4.2 实验结果:

4.2.1 数据探索

【1】温馨提示:

【2】代码:

# coding: utf-8
import pandas as pd
import matplotlib.pyplot as plt
# excel文件自行修改
xls_file = pd.read_excel("./catering_sale.xls")
df = pd.DataFrame(xls_file)
# print(df)
data1 = df['销量']
# print(data1)
des = data1.describe()
# print(des)
print("日销售额数据均值为:" + str(des['mean']))
print("日销售额数据中位数为:" + str(des['50%']))
print("日销售额数据的众位数为:" + str(data1.mode()[0]))
print("日销售额数据的极差为:" + str(des['max'] - des['min']))
print("日销售额数据的四分位间距为:" + str(des['75%']-des['25%']))
print("五数概况为:" + str(des['min'])+", " + str(des['25%']) + ", " + str(des['50%']) + ", " + str(des['75%']) + ", " + str(des['max']))

# data = pd.to_datetime(df['日期'])     # 将数据类型换成日期类型
# 设置索引
data = df.set_index('日期', drop=False)
# 按月求和
data_sum = data.resample('MS').sum()
# 画统计图
pl1 = plt.bar(data_sum.index.tolist(), height=data_sum['销量'].tolist(), width=10)
plt.show()
pl2 = plt.plot(data_sum.index.tolist(), data_sum['销量'].tolist())
plt.show()

【3】运行结果:


4.2.2 绘制词云:

【2】代码:

# coding: utf-8
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jieba
import docx
f = ' '
doc = docx.Document('./XX大学防控疫情确保开学安全工作方案.docx')
for p in doc.paragraphs:
    # print(type(p))  # <class 'docx.text.paragraph.Paragraph'>
    f = f + p.text
# print(f)
cut_txt = ' '.join(jieba.cut(f))
# font_path参数:需要自行指定字体的路径,这里本人自备楷体字体包
# 通常window操作系统的字体包的路径为C:\\Windows\\Fonts
wordCloud = WordCloud(
    font_path='simkai.ttf',
    background_color="white",
    width=1000,
    height=880,
).generate(cut_txt)
plt.imshow(wordCloud, interpolation="bilinear")
plt.axis("off")
plt.show()

【3】运行结果:
这里结果:根据不同的“XX大学防控疫情确保开学安全工作方案.docx”文件,对应不同的词云图。

4.2.3 题目(3.1)的数据清洗-缺失值处理

【1】温馨提示:

【2】代码:

# -*- coding: utf-8 -*-
# 拉格朗日插值代码
# 导入数据分析库Pandas
import pandas as pd
# 导入拉格朗日插值函数
from scipy.interpolate import lagrange

# 销量数据路径
input_file = 'catering_sale.xls'
# 输出数据路径
output_file = 'sales.xls'
# 读入数据
data = pd.read_excel(input_file)
# data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值,将其变为空值

# 自定义列向量插值函数
# s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5
def ployinterp_column(s, n, k=5):
  # 取数
  y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))]
  # 剔除空值
  y = y[y.notnull()]
  # 插值并返回插值结果
  return lagrange(y.index, list(y))(n)

# 逐个元素判断是否需要插值
for i in data.columns:
  for j in range(len(data)):
    # 如果为空即插值
    if (data[i].isnull())[j]:
      data[i][j] = ployinterp_column(data[i], j)
# 输出结果,写入文件
data.to_excel(output_file)

【3】运行结果:

sale.xls文件

以下为其截图:

4.2.4 题目(3.2)连续属性离散化。

【1】温馨提示:

【2】代码:

# -*- coding: utf-8 -*-
# 数据规范化
import pandas as pd

# 输入数据路径
datafile = 'discretization_data.xls'
# 读取数据
data = pd.read_excel(datafile)
data = data[u'肝气郁结证型系数'].copy()
k = 4
# 等宽离散化,各个类比依次命名为0,1,2,3
d1 = pd.cut(data, k, labels=range(k))

# 等频率离散化
w = [1.0 * i / k for i in range(k + 1)]
# 使用describe函数自动计算分位数
w = data.describe(percentiles=w)[4:4 + k + 1]
w[0] = w[0] * (1 - 1e-10)
d2 = pd.cut(data, w, labels=range(k))

# 引入KMeans
from sklearn.cluster import KMeans

# 建立模型,n_jobs是并行数,一般等于CPU数较好
kmodel = KMeans(n_clusters=k, n_jobs=4)
# 训练模型
kmodel.fit(data.values.reshape((len(data), 1)))
# 输出聚类中心,并且排序(默认是随机序的)
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)
# 相邻两项求中点,作为边界点
w = c.rolling(2).mean().iloc[1:]
# 把首末边界点加上
w = [0] + list(w[0]) + [data.max()]
d3 = pd.cut(data, w, labels=range(k))


# 自定义作图函数来显示聚类结果
def cluster_plot(d, k):
    import matplotlib.pyplot as plt
    # 用来正常显示中文标签
    plt.rcParams['font.sans-serif'] = ['SimHei']
    # 用来正常显示负号
    plt.rcParams['axes.unicode_minus'] = False

    plt.figure(figsize=(8, 3))
    for j in range(0, k):
        plt.plot(data[d == j], [j for i in d[d == j]], 'o')

    plt.ylim(-0.5, k - 0.5)
    return plt

cluster_plot(d1, k).show()
cluster_plot(d2, k).show()
cluster_plot(d3, k).show()

【3】运行结果:


4.2.5 题目(3.3)的主成分分析法降维

【1】提示:

【2】代码:

# coding: utf-8
import pandas as pd

# 3.3 主成分分析法降维
# 利用主成分分析法PCA,对数据进行降维,要求降维后数据保留95%原数据信息即可。
data = pd.read_excel('principal_component.xls', header=None)
from sklearn.decomposition import PCA
# pca = PCA()
# print(pca.fit(data))
# print(pca.explained_variance_ratio_)
# 返回各个成分各自的方差百分比
# 由结果可看出前三个主成分的累积贡献值达到95%
pca = PCA(3)
pca.fit(data)
# 降低维度
low_dimension = pca.transform(data)
# 持久化保存
pd.DataFrame(low_dimension).to_excel('another_principal_component.xls')

【2】运行结果:

生成文件:another_principal_component.xls

以下该文件的截图:

五、 实验总结

通过这次实验,我了解到数据探索、数据预处理是很有趣味的,它涉及的知识面是很广的。数据探索对给定数据,首先查看数据基本情况,分析集中趋势,包括均值,中位数,众数指标。分析离散趋势,包括极差,四分位间距等,并给出五数概况。然后进行可视化,数据预处理,包括数据清洗-缺失值处理,如采用合适方法进行数据增补;连续属性离散化,如用等宽和等频进行离散化;主成分分析法降维等。若是要想好好掌握这数据处理这技能,不仅要花时间学习概率统计学理论知识,还需要知道对应Python的什么模块的什么函数,以及该函数的参数如何使用。

20172317 《程序设计与数据结构》实验一实验报告

20172317 2017-2018-2 《程序设计与数据结构》实验一报告

课程:《程序设计与数据结构》
班级: 1723
姓名: 蒋子行
学号:20172317
实验教师:王志强
实验日期:2018年3月21日
必修/选修: 必修

1.实验内容

  • 下载IDEA,并且成功的配置了IDEA
  • 完成PP2.5,PP3.3,PP3.5,PP3.8,不过这些不是本来就是第三周作业么
  • 把编程工程导入IDEA中

2.实验过程及结果

过程:首先是到处查找关于本次试验的资料...然后到处下载IDEA....然后想办法怎样让自己的IDEA变成免费软件.....然后把那几个编程项目再做一遍,尽管之前就已经做好了....
结果:实验要求悉数完成,但是可能配置的并不完善,需要后续的补足

3.实验过程中遇到的问题和解决过程

  • 问题1:为什么就多了一个目录
  • 问题1解决方案:
    啊,是的是的,恼人程度不亚于晨跑,这就是配置IDEA
    所以,按照正常的步骤来(或者说某种意义上是正常的步骤),在打开了这玩意之后,然后是新建项目,然后要到file>new>project from version control>git,然后把码云那些乱七八糟的东西设置在这上面,然后....就给我搞成这样了技术分享图片

    嘛,嘛,至少往好处想,我的代码量的瞬间增长就是因为这个多出来的目录搞的鬼,尽管如此,其他人似乎并没有出现这种情况,看来是我某一步做错了,于是删掉了那个目录,从头再来技术分享图片

    接下来接下来....重新打开的时候就不选"creat new project"了,直接选"open",然后竟然就没问题了,耶.....
  • 问题2:为什么这目录又出现了
  • 问题2解决方案:
    转念一想,不对,那个啥码云乱七八糟的东西是不是应该继续设置在上面?反正我通过直接"open"就把原来的目录打开了,这时候再通过那个乱七八糟的步骤总该可以了吧?技术分享图片

    .....很好很好,这个目录又出现了,仿佛就像是一个复苏的僵尸一样,而且它做的第一件事就是对你竖了一个大大的中指。技术分享图片

    删了删了,但是这样的话真的对码云没什么影响么?等有空余时间我得仔细研究下开发环境、git、码云之间的关系....

  • 问题3:为什么没有「New」->「Java Class」
  • 问题3解决方案:
    所以,我再次删掉了那个多出来的目录,懒得再管那个小玩意了,抱着“以后再去干掉那个混蛋的”心态,按照步骤继续去做,首先是在src目录那里右键然后...技术分享图片

    ......我估计是因为前面码云和git啥的没弄好所以才会出现这个情况,不过反正新建文件只要后缀名是.java一样没啥问题,管他的

其他(感悟、思考等)

稀烂的加载速度,奇烂的写代码手感,一堆华而不实的小工具,糟糕透顶的响应速度,无法理解的用户界面,无法用语言描述的操作笨拙感
真的?以后都要用这个玩意写代码?算了,杀了我吧
我承认我不会用,但是这~~暂时~~不会改变我认为IDEA实在是用不来的观念,也许以后真的不得不要去用的时候我再去把IDEA从头到尾通透的搞懂吧











以上是关于数据探索与数据预处理的实验报告的主要内容,如果未能解决你的问题,请参考以下文章

20172307 2018-2019-1 《程序设计与数据结构》实验1报告

20172307 2018-2019-1 《程序设计与数据结构》实验2报告

20182309 2019-2020-1 《数据结构与面向对象程序设计》实验五报告

实现房价预测及计算过程中相关实验数据可视化

# 20182304 实验八 《数据结构与面向对象程序设计》实验报告

20182332 实验五《数据结构与面向对象程序设计》实验报告