分位数和上侧分位数如何定义？

Posted 2023-04-22

参考技术A

一、定义及求法

1、分位数的定义是设随机变量X的分布函数为F(x),对任意给定的实数 α，取值范围为（0<α<1）,若存在Xα 使得 PX≤ Xα=F（Xα） =α，那么称Xα为此概率分布的α分位数。

2、上侧分位数：简称“α上分位数”、“α上分位点”。随机变量的位置特征。对随机变量X和给定的 α，取值范围 (0<α<1),若存在 xα ,使得 PX ≥xα = α,那么称 xα 为X的α上侧分位数。如下图所示。

二、区别

（一）含义不同

1、分位数，是指将一个随机变量的概率分布范围分为几个等份的数值点，如中位数、四分位数。

2、上侧分位数，对于任意α(0<α<1),满足条件PX>x≤α≤PX≥x的x值,称做随机变量X的α上侧分位数,记作xα。

（二）范畴不同

1、分位数，对于某一特定概率分布，其某一分位数，如二分位数（中位数）通常是唯一的。对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为二分位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为二分位数。

2、对于任意概率分布,上侧分位数xα存在但未必唯一。

参考资料：

百度百科——分位数

数据分析

一、常用的统计量：

　　 均值mean()、中位数median()、众数mode()、分位数（上侧分位数、下侧分位数、四分位间距）

　　 ————四分位间距的求法：df[df<上界][df>下界] （上界：上侧分位数+K*四分位间距; 下界：上侧分位数+K*四分位间距）  k指的是允许的形变

　　 方差var()， 偏态系数skew()，峰态系数kurt()， 正态分布

二、数据预处理

1、数据的标准化（normalization）和归一化：

　 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

 

       目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。

2、缺失值处理：

　　第一步：明确缺失数据的重要性，如果对目标值的预测不重要，直接删除改变量，如果很重要，第一种方法通常采用能够处理缺失数据的算法进行建模(如：基于决策树的模型)，第二种方法是缺失值填充。

　　缺失值填充的常用方法：

• 使用平均值合作中位数填充
• 使用k近邻进行填充

　　k近邻进行填充：假设样本X_i的第j个变量缺失记为x_ij，目标就是要估计x_ij，首先利用x_i中没有缺失的变量，找到最相识的k个样本，并用这k个样本的第j个变量的平均值作为x_ij的估计值，缺失算法填充对主要的控制参数k不敏感