Python 探索性数据分析工具（PandasGUI，Pandas Profiling，Sweetviz，dtale）以及学术论文快速作图science.mplstyle

Posted 2022-10-12 汀、

如果探索的数据集侧重数据展示，可以选PandasGUI；如果只是简单了解基本统计指标，可以选择Pandas Profiling和Sweetviz；如果需要做深度的数据探索，那就选择dtale。

1. 4款 Python 自动数据分析神器真香啊：

如此优雅，4款 Python 自动数据分析神器真香啊_我爱Python数据挖掘的博客-CSDN博客_python自动分析数据

1. PandasGUI：

PandasGUI操作界面

PandasGUI更侧重数据展示，提供了10多种图表，通过可视的方式配置。

但数据统计做的比较简单，没有提供缺失值、相关系数等指标，数据转换部分也只开放了一小部分接口。

2.Pandas Profiling

Pandas Profiling操作界面

每列的详情包括：缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。

列之间的相关系数支持Spearman、Pearson、Kendall 和 Phik 4 种相关系数算法。

与 PandasGUI 相反，Pandas Profiling没有丰富的图表，但提供了非常多的统计指标以及相关系数。

3. Sweetviz

Sweetviz与Pandas Profiling类似，提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。

 

4. dtale

最后重磅介绍dtale，它不仅提供丰富图表展示数据，还提供了很多交互式的接口，对数据进行操作、转换。

 

 

 

1.2 Python小工具（2）-----数据分析（sweetviz库的使用）：

Python小工具（2）-----数据分析（sweetviz库的使用）_飞在天空中的狗的博客-CSDN博客_python sweetviz

1.3 sweetviz包：快速可视化和数据集EDA

sweetviz包：快速可视化和数据集EDA_Smilecoc的博客-CSDN博客_sweetviz

1.4 【DTale】数据分析强大工具DTale的使用

【DTale】数据分析强大工具DTale的使用_Koma_zhe的博客-CSDN博客_dtale教程

 1.5 用Python的dtale库进行数据探索

用Python的dtale库进行数据探索_菜鸟学Python数据分析的博客-CSDN博客

 

2. 学术论文快速作图（不同期刊格式图表）：

Python小工具（3）----- 学术论文快速作图（不同期刊格式图表）_飞在天空中的狗的博客-CSDN博客

3. 多个文件多数据批量读取：

多个文件多数据批量读取_飞在天空中的狗的博客-CSDN博客_批量从多个文件中提取数据

import numpy as np
import os
# 加载数据路径
x_path = r'xxxx\\BP_input_ai_data\\\\'
y_path = r'xxxx\\BP_input_Y_data\\\\'

def read(x_path,y_path):
    x_files = os.listdir(x_path)
    y_files = os.listdir(y_path)
    file_num = len(x_files)  # 文件夹下文件个数
    print('======= 共计%s个数据 ======' % file_num)
    x_files.sort(key=lambda x: int(x[:-4]))  #倒着数第四位'.'为分界线，按照‘.’左边的数字从小到大排序  1.txt  2.txt
    y_files.sort(key=lambda y: int(y[:-4]))
    # 读取文件夹中每个数据
    for i in range(file_num):   # 这里循环  读每个文件下的所有数据
        x_name = x_path + '\\\\' + x_files[i]
        y_name = y_path + '\\\\' + y_files[i]
        # print('====== %s读取数据... ======' % x_files[i])
        x_data = np.loadtxt(x_name)  # 读取数据
        y_data = np.loadtxt(y_name)

4.批量修改文件夹中文件后缀名：

批量修改文件夹中文件后缀名_飞在天空中的狗的博客-CSDN博客_批量修改后缀名

待修改数据 1.doc 2.doc
目标格式： 1.txt 2.txt

在此文件夹新建一个记事本，输入代码 ren *.doc *.txt，保存，然后把这个记事本的后缀改为bat，双击运行就行
（无论多少的文件，运行这个bat文件都能同时修改后缀~）