Pandas开发实战博文集锦（初步集成）

Posted 2022-08-05 肖永威

本文为最近2年来使用Pandas进行数据分析的实践笔记集锦。

Pandas常用累计、同比、环比等统计方法实践案例 2022-02-18
统计表中常常以本年累计、上年同期（累计）、当期（例如当月）完成、上月完成为统计数据，并进行同比、环比分析。如下月报统计表所示样例，本文将使用Python Pandas工具进行统计。

Python使用joypy绘制峰峦图案例 2021-12-26
本文在分析客户流失过程中，采用峰峦图对各种客户状态（活跃、不活跃、濒临流失、流失）进行特征分析，使用python语言下的Joypy工具绘制。

Numpy与Pandas、Sklearn中one-hot快速编码方法 2021-12-18
Numpy与Pandas、Sklearn中one-hot快速编码方法

pandas删除没有列名的列 2021-11-24
pandas 没有列名一般是说原表中没有列名，但在pandas读出来的时候是有列名的，如何删除这样的列呢？

Pandas时间类型数据处理常用方法小结 2021-11-19 11
在数据处理、特征工程时，往往需要按照时间段来统计特征，例如计算间隔天数、最近一个月、最近3个月、最近半年、最近一年某用户的行为数据，那么如何计算筛选这些时间点呢？

Pandas高级数据分析快速入门——全过程综述及案例集锦 2021-10-14
Pandas高级数据分析快速入门包括开发环境、基础操作、数据挖掘与统计分析篇、数据可视化、机器学习特征工程、机器学习预测分析等培训内容综述与集成。（5次课，共计交流10小时，内附代码案例）

Pandas高级数据分析快速入门之一——Python开发环境篇 2021-09-07
Pandas高级数据分析快速入门，包括：Python开发环境篇、基础篇、数据挖掘与统计分析篇、数据可视化篇、机器学习特征工程篇、机器学习预测分析篇。本篇为第一篇，Python工作环境部署，使用pip方式安装工具包，包括Jupter、Numpy+mkl、scipy、Pandas、Clickhouse等。

Pandas高级数据分析快速入门之二——基础篇 2021-08-24
本篇为第二篇，数据表DataFrame读写基础操作及读写CSV、Clickhouse相关技术。
Pandas构成、从读取通用数据文件开始、对表（DataFrame）增减数据、把数据保存到CSV文件、DataFrame单元格操作、读取Clickhouse数据。

Pandas高级数据分析快速入门之三——数据挖掘与统计分析篇 2021-08-27
本篇为第三篇，基于数据表DataFrame进行数据挖掘和统计，扩展衍生交易特征，提取常用特征等简明实际案例操作。读取原数据、时序数据挖掘、数据计算、挖掘数据周期维度、表关联（merge）、常用特征提取——极限值与统计值、按周期统计分析数据。

Pandas高级数据分析快速入门之四——数据可视化篇 2021-08-28
本篇为第四篇，基于数据表DataFrame进行数据可视化，绘图包括散点图、柱状图、条形图、直方图、密度图、饼状图、热力图、雷达图等。

Pandas高级数据分析快速入门之数据筛选——分组排序筛选实践笔记 2021-10-08
Pandas常用分组排序筛选数据实际操作实践笔记，排序、 分组筛选、按条件筛选分组。

Python使用ClickHouse实践与踩坑记
本文为初步使用ClickHouse做OLAP数据分析实践，并记录了数据库连接端口配置、接口返回值等问题。体会到ClickHouse的速度快。

数据处理技术、技巧集锦（Pandas、Numpy、List） 2021-03-02
基于python pandas做数据集开发所遇到的表合并（横向合并与纵向合并）、数据行列处理、数据分组过滤、表内数据及特征处理、Mongo数据存取等需求，总结常用技术、技巧集锦。

通过Pandas批量快速读取MongoDB数据经验一则 2020-10-12
对于处理读取大批量MongoDB数据的需求，一般采用通过游标分批读取数据，逐批按需求处理数据（数据治理）方案，这样过程思维清晰，缺点是大数据量时速度较慢，而且需要调优游标批量处理量（batch_size），例如我处理读取100万条数据时，耗费我大概5天时间，而直接采用Pandas工具一

Pandas（数据表）深入应用经验小结（查询、分组、上下行间计算等） 2020-08-08
分享以少量代码，站在Pandas肩膀上，实现大批量Mongo数据读取、数据计算处理等实践案例，以及所遇到的坑。

基于Pandas实现皮尔逊相关与余弦相似度在工业大数据分析中的应用实践 2020-08-06
获得相关系数有什么用呢？简而言之，有了相关系数，就可以根据回归方程，进行A变量到B变量的估算，这就是所谓的回归分析，因此，相关分析是一种完整的统计研究方法，它贯穿于提出假设，数据研究，数据分析，数据研究的始终。本文基于Pandas实现相关系数及其散点图分析。