机器学习基础常见二分类损失函数距离度量的Python实现

Posted 2021-04-06 机器学习初学者

本文用Python实现了常见的几种距离度量、二分类损失函数。

设 和 为两个向量，求它们之间的距离。

这里用Numpy实现，设 和 为ndarray <numpy.ndarray>，它们的shape都是(N,)

为所求的距离，是个浮点数（float）。

import numpy as np

1.欧氏距离(Euclidean distance)

欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

def euclidean(x, y):

    return np.sqrt(np.sum((x - y)**2))

2.曼哈顿距离(Manhattan distance)

想象你在曼哈顿要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源， 曼哈顿距离也称为城市街区距离(City Block distance)。

def manhattan(x, y):

    return np.sum(np.abs(x - y))

3.切比雪夫距离(Chebyshev distance)

在数学中，切比雪夫距离（Chebyshev distance）或是L∞度量，是向量空间中的一种度量，二个点之间的距离定义是其各坐标数值差绝对值的最大值。以数学的观点来看，切比雪夫距离是由一致范数（uniform norm）（或称为上确界范数）所衍生的度量，也是超凸度量（injective metric space）的一种。

def chebyshev(x, y):

    return np.max(np.abs(x - y))

4.闵可夫斯基距离(Minkowski distance)

闵氏空间指狭义相对论中由一个时间维和三个空间维组成的时空，为俄裔德国数学家闵可夫斯基(H.Minkowski,1864-1909)最先表述。他的平坦空间（即假设没有重力，曲率为零的空间）的概念以及表示为特殊距离量的几何学是与狭义相对论的要求相一致的。闵可夫斯基空间不同于牛顿力学的平坦空间。

def minkowski(x, y, p):

    return np.sum(np.abs(x - y) ** p) ** (1 / p)

5.汉明距离(Hamming distance)

汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个（相同长度）字对应位不同的数量，我们以 表示两个字 , 之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。

def hamming(x, y):

    return np.sum(x != y) / len(x)
6.二分类损失函数
在二分类的监督学习中，支持向量机、逻辑斯谛回归与最大熵模型、提升方法各自使用合页损失函数、逻辑斯谛损失函数、指数损失函数，分别写为：
  
    
    
  

   
     
     
   
  
    
    
  
  
    
    
  

   
     
     
   
  
    
    
  
  
    
    
  

   
     
     
   
  
    
    
  
这 3 种损失函数都是 0-1 损失函数的上界，具有相似的形状。(见下图，由代码生成）
  
    
    
  

   
     
     
   
import numpy as np
import math
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(10,8))
x = np.linspace(start=-1, stop=2, num=1001, dtype=np.float)
logi = np.log(1 + np.exp(-x)) / math.log(2)
boost = np.exp(-x)
y_01 = x < 0
y_hinge = 1.0 - x
y_hinge[y_hinge < 0] = 0

plt.plot(x, y_01, 'g-', mec='k', label='（0/1损失）0/1 Loss', lw=2)
plt.plot(x, y_hinge, 'b-', mec='k', label='（合页损失）Hinge Loss', lw=2)
plt.plot(x, boost, 'm--', mec='k', label='（指数损失）Adaboost Loss', lw=2)
plt.plot(x, logi, 'r-', mec='k', label='（逻辑斯谛损失）Logistic Loss', lw=2)
plt.grid(True, ls='--')
plt.legend(loc='upper right',fontsize=15)
plt.xlabel('函数间隔:$yf(x)$',fontsize=20)
plt.title('损失函数',fontsize=20)
plt.show()

   
     
     
   

  
    
    
  
总结
本文用Python实现了常见的几种距离度量、损失函数，欢迎收藏！



  
    
    
  

   
     
     
   

  
    
    
  
  
    
    
  

   
     
     
   
    
      
      
    

     
       
       
     
 
      
 
       
 
        
 
         
 
          
 
           
 
            
往期精彩回顾
 
           
 
          
 
         
 
        
 
       
 
      
 
     
    
      
      
    
    
      
      
    

     
       
       
     
 
      
 
       
 
        
 
       
 
       
 
        
 
         
 
        
 
        
 
         
 
        
 
       
 
       
 
        
 
       
 
      
 
      
 
       
 
       
 
       
 
       
 
      
 
      
本站qq群1003271085，加入微信群请回复“加群”
 
      
获取一折本站知识星球优惠券，复制链接直接打开：
 
      
https://t.zsxq.com/yFQV7am
 
      
喜欢文章，点个在看