[博客入坑]CS231N assignment 1 _ KNN 知识 & 详细解析

Posted 360MEMZ

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[博客入坑]CS231N assignment 1 _ KNN 知识 & 详细解析相关的知识，希望对你有一定的参考价值。

从零开始的全新博客


我之前一直在语雀上更新文章, 但是一会不更发现居然需要VIP才能发博客了:

不过考虑到自己确实有一会没写博客了, 之前对神经网络在课上学过, 也鼓捣过pytorch, 但是深感自己没有系统学习过. 第一次接触这种公开课, 希望也能有种从零开始的感觉, 让自己面对这门课程能够更加专注.

那废话不多说, 下面我们就来做内容解析. 

环境配置(本地搭建windows)

请注意,下面是我整个过程的记录,如果你觉得太长不看, 可以直接转到最后一段.

首先我们从课程官网CS231n Convolutional Neural Networks for Visual Recognition(2019)上获取zip文件包. 为了方便, 我们需要在anaconda上搭建jupyter notebook的环境. 我本以为按照教程操作就可以了,网上博客也不少了, 没想到还是踩了许多坑呜呜呜

首先是教程上这句话:

 这里的"anaconda内置了许多科学用的python包"我没有太理解,感觉它只是一个python虚拟环境构建器而已, 确实用anaconda新建的环境是没有什么包的,但是我认真探索了一番, 才知道其base环境的确自带了很多有用的包,所以一些基础性的工程一般用base就没问题. (看下面就知道它自带的包有多丰富)

因此我们只需要在base环境输入jupyter notebook即可. 但是这里我又遇到了打不开的问题, 原谅我忘了截图, 但是原因和这个博客说的一摸一样: (2条消息) 启动Jupyter报错：ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘_　Laurence的博客-CSDN博客 按照这个做了之后, 虽然会报一些error, 但是不影响正常打开.

另外, 如果你是照着2016版本学习的, 会发现其残留了大量的python2时期的代码, 且本身代码bug较多, 比较搞人心态, 所以我建议用相对较新课程版本的代码.(我用的是2019年,之后的版本无法本地搭环境). 但是,又出问题了, 因为我的anaconda版本比较新,所以会出现各种功能(典型的是scipy的imread方法)被废弃的问题.因此最终我决定还是自己新建一个python3.7的环境, 按照pip install -r requirements.txt来确保需要的包版本完全一致. 这样之后,终于解决了环境问题, 按照.sh的内容下载数据集(也可以像我直接用wsl执行.sh文件), 最终完全配成功环境.

解说&作业: KNN和基本处理逻辑

上来我们就感受到了其和国内作业的不同, 作业是真的在指导你一步一步完成, 因此直接贴答案自然是不合适的, 我们还要学会阅读代码, 学习其中的思路.  

KNN本质上的思想极其简单,就是看它的旁边几个训练集的向量是什么类型, 少数服从多数决定输入位置向量的类别. 图像本质上也是向量, 但是其被折叠成了矩阵. 

jupyter的技巧

在jupyter, 可以用一些以%打头的内容来增强展示效果:

# 为了让matplotlib图像直接显示在jupyter页面做的操作
%matplotlib inline 
plt.rcParams[\'figure.figsize\'] = (10.0, 8.0) # 设置画布尺寸
plt.rcParams[\'image.interpolation\'] = \'nearest\' # 插值方式
plt.rcParams[\'image.cmap\'] = \'gray\' # 颜色
# 随着内容改变, jupyter内容自动重载
%load_ext autoreload
%autoreload 2

不过需要注意,这些语句之后不能有空格和注释, 否则会出现错误, 这点和bash里面的export的"="左右不能有空格很像.

回到文档

随后在使用模型之前一般需要检查数据类型来确保模型的可用性,因为基础阶段的多数模型是不能自适应尺寸的,与此同时我们看到了图片本质是numpy的数组,图片为32*32的RGB图像:

随后大体是图像展示,缩减训练集和测试集,将图像转化为向量(注意这里调用的函数为  X_train = np.reshape(X_train, (X_train.shape[0], -1)   ,也就是除了第一维度剩下的flatten, 换言之输入的图片应当是行向量)等步骤, 训练过程只需要单纯将所有训练集记下来就可以. 只要照着代码思路阅读一般不会有问题.

为了不致博客冗长, 接下来开始只会摘录一些重要的内容继续解说.

当我们完成训练之后, 它要求我们用多种方式计算每个测试集和每个训练集的距离. 这里课程将测试集作为行, 训练集作为列, 希望得到的距离是一个矩阵. 能够直接用矩阵表达最后的结果是简洁的, 所以我们不该局限于用两层循环写出这个结果.

对于两层循环,答案是简单的, 即

dists[i,j] = np.sqrt(np.sum(np.square(X[i]-self.X_train[j]),axis=None))

 缩减到一层循环,即只循环测试集, 为此我们需要对单个测试集行向量和每个训练集行向量计算结果. 这里就不得不说到numpy的广播机制了. 

Numpy广播(Broadcasting)

网上对这个都有点不明不白, 我参考了官方文档说明: Broadcasting — NumPy v1.24 Manual 其广播机制大概用人话说就是: 我们列举两个矩阵的shape, 将其shape向右对齐之后, 每个部分维度必须满足: 相等/其中一个为1/不存在. 我认为这个例子最能说明:

而至于较小维度的那个就会直接将值不断复制,大概如这张图所示:

我们将A和B的维度向右对齐, 会发现第一维度下一个为8,一个不存在(其实元素数量和这个维度为1是一样的), 满足条件, 剩下的三个维度均满足其中一个是1的条件, 而这会导致这个维度的shape被推广到较大一者. 一个图像处理的例子如下:

我们将scale的维度同样处理,就知道scale会被复制256*256次, 也就是对256*256应当对应一个值. 如果你不能理解,建议你画一下图:

我们就知道, 上面的矩阵相乘(是元素相乘,不是矩阵乘法,和matlab的 .* 类似) 表达的意义是对RGB三通道进行不同的比例增强. 由此,我们就能体会到利用好这个原则可以简化代码书写, 避免走向一涉及多元素就想到循环的怪圈.

回到上面

于是, 我们按照同样的思路去思考现在一层循环的情况:

这样我们就知道了该怎么做. 结果呼之欲出. 需要注意, 我们的目标结果是500*5000的矩阵, 所以结果还需要转置一次,不过因为numpy中sum得到的是行(低维度),所以代码不用写出.

dists[i,:] = np.sqrt(np.sum(np.square(X[i,:] - X.train),axis=1))

 (在matlab中,因为没有广播机制,所以需要手动用repmat函数广播)

再来看看没有循环的结果.这也是最困难的, 为此我们需要做适当的变换,手动触发广播机制. 这个思路参考了网上的答案, 感觉真的巧妙,记录一下. 首先根据完全平方公式, (a-b)^2 = a^2 + b^2 - 2ab, 我们按照示意绘制出这样的图: 

根据这个图片的思路, 我们也可以写出结果:

dists += np.sum(X ** 2, axis=1,keepidms=True)
dists += np.sum(self.X_train ** 2, axis=1,keepidms=True).T
dists -= 2 * np.dot(X, self.X_train.T)
dists = np.sqrt(dists) # 开方

需要注意的是, 这里广播考虑到np.sum降低了维度, 根据广播机制的右对齐原则, 就不能再使用, 所以必须开启keepdims=True, 此时相加将保留维度特性,得到的应当是列向量, 所以train的dist需要转置为行,如上图.

下面我们写出KNN代码. 因为已经得到了距离矩阵,我们只需要得到距离最小训练集的index, 反查对应的类别即可. 其实这里自己写肯定是for循环检测, 不过多用Numpy的库也能充分应用到其优化, 也深感工具的实用性.

min_idx = np.argsort(dists[i,:])[0:k] # argsoft获得训练集idx索引
closest_y = self.y_train[min_idx] # 反向获取idx对应的类别
y_pred[i] = np.argmax(np.bincount(closest_y)) # bincount返回各个类别的出现次数(下标和数值对应), argmax返回最大的下标

k超参数的结果我们会在后面再讨论. 我们来看看计算距离的时间统计:

这个时间结果的原因: 首先不用loop的时候, 基本运算都是numpy库内进行, 而numpy是C底层,会快很多, 且其用到了很多加速和并行运算的技巧, 我自己也明显发现没有循环的CPU占用率明显高于剩下二者. 

最后是超参数k对于结果的影响. 这里用了一个方法来准确衡量准确度:

K折交叉验证 (k-fold cross validation)

这是实际上为探索超参数的最常用方法了,大概意思就是数据分成K份, K-1份训练,1份验证,且我们随机选取数次训练(当然这里直接就训练5次), 取平均得到准确率结果. 引用别的博客的话, 所有数据都会参与到训练和预测中，有效避免过拟合，充分体现了交叉的思想. 代码如下:

x_train_folds = np.array_split(X_train,num_folds)
y_train_folds = np.array_split(y_train,num_folds) # 分成5份,在竖直方向上分隔(默认,axis=0可以省略)


for k in k_choices:
    k_to_accuracies[k] = np.zeros(num_folds) # 预申请内存
    for i in range(num_folds):
        x_tr = x_train_folds[0:i] + x_train_folds[i+1:] # 因为array_split得到了列表,所以可以直接相加得到训练集
        y_tr = y_train_folds[0:i] + y_train_folds[i+1:] 
        x_tr = np.concatenate(x_tr,axis=0)# 上下叠放,axis意义同理
        y_tr = np.concatenate(y_tr,axis=0)
        # 测试集
        x_test = x_train_folds[i]
        y_test = y_train_folds[i]
        # 训练
        model = KNearestNeighbor()
        model.train(x_tr,y_tr)
        # 计算距离
        dists = model.compute_distances_no_loops(x_test)
        # 预测
        y_pred = model.predict_labels(dists,k=k)
        # 计算准确率
        acc = np.sum(y_pred == y_test)
        acc = float(acc) / (num_training / num_folds)
        k_to_accuracies[k][i] = acc
pass

# *****END OF YOUR CODE (DO NOT DELETE/MODIFY THIS LINE)*****

下面是结果:

可以看出, 随着K上升, 预测结果先增大后减小,在10-12准确度最好.当然实际上的准确率确实可以用菜鸡互啄来形容了, 而且KNN本身的复杂度很高(因为要对周围的所有点进行扫描),所以一方面用矩阵很有必要,另一方面KNN对所有像素点都考虑,完全没考虑特征, 所以受背景影响严重.

下面是练习题我的回答:

题目1

首先因为显示这个图是直接调用plt.imshow函数, 所以很显然, 白色就是dist小,黑色就是dist大. 产生bright row/column自然就是这个样本过于特殊, 导致这个测试/训练样本和所有的训练/测试样本都差异过大, 考虑到KNN是对整个图像亮度考虑, 只能说明图像亮度差异太大或色差太大(也就是RGB通道亮度差异), 或者图像损坏了.

题目2

1. 因为L1定义就是像素差的绝对值之和, 所有图像亮度减去同一个值, 相互之间的差不变,所以L1距离不变.

2. 但是如果每个图像亮度减的不同,那么相互之间的差会多出h*w*(μ之差), 会变化

3. 4. 同理分别是不会和会.

5. 旋转之后, 我个人感觉所有数据旋转的规则保证一致的条件下,flatten之后的xi和yi就应当一一对应, 求距离之后二者对应不变. 不过,如果仅仅一张图旋转而其他数据集不变的话, 确实会产生很大的影响, 因为这种对应关系就会被破坏. 

题目3

1. 肯定不是,因为本来就是选最近的,决策边界不可能不变.

2.3. 只能说未必, 超参数只是经验值, 其适用于大多数场合, 但不是所有场合都可以的.

4. 正确, 本来就必须一个个比较

ES6之Object.assign()详解

译者按: 这篇博客将介绍ES6新增的Object.assign()方法。

为了保证可读性，本文采用意译而非直译。另外，本文版权归原作者所有，翻译仅用于学习。

将A对象的属性复制给B对象，这是JavaScript编程中很常见的操作。这篇博客将介绍ES6的Object.assign()属性，可以用于对象复制。

在JavaScript生态系统中，对象复制有另外一个术语: extend。下面是两个JS库提供的extend接口：

Object.assign()介绍

ES6提供了Object.assign()，用于合并/复制对象的属性。

Object.assign(target, source_1, ..., source_n)

它会修改target对象，然后将它返回：先将source_1对象的所有可枚举属性复制给target，然后依次复制source_1等的属性。

1. 属性名可以为字符串或者Symbol

在ES6中，对象的属性名可以是字符串或者Symbol。因为Symbol值具有唯一性，这就意味着Symbol作为对象的属性名时，可以保证不会出现同名的属性。对象属性名为字符串或者Symbol时，Object.assign()都支持。

2. 属性复制通过赋值实现

target对象的属性是通过复制来创建的，这就意味着，如果target有setters方法时，它们将会被调用。

另一种方案是通过定义来实现，这样将会创建新的自有属性，不会调用setters方法。其实，另一个版本的Object.assign()的提案正是采用这种方法。不过，这个提议在ES6中被拒绝了，也许之后的版本会再考虑。

Object.assign()使用示例

1. 初始化对象属性

构造器正是为了初始化对象的属性，通常，我们不得不多次重复属性的名字。示例代码的constructor中，x与y均重复了两次：

class Point
{
    constructor(x, y)
    {
        this.x = x;
        this.y = y;
    }
}

如果可以的话，个人偏爱将所有冗余都省去。(事实上，CoffeeScript与TypeScript都有语法解决构造器中属性名重复的问题。)：

class Point
{
    constructor(this.x, this.y){}
}

至少，Object.assign()可以帮助我们减少一些重复：

class Point
{
    constructor(x, y)
    {
        Object.assign(this, { x, y });
    }
}

在ES6中, { x, y }为{ x: x, y: y }的缩写。

2. 为对象添加方法

ECMAScript 5, you use a function expression to add a method to an object:

在ES5中，需要使用function关键字定义对象的新增方法：

MyClass.prototype.foo = function(arg1, arg2)
{
    //...
};

在ES6中，对象方法的定义更加简洁，不需要使用function关键字。这时，可以使用Object.assign()为对象新增方法：

Object.assign(MyClass.prototype,
{
    foo(arg1, arg2)
    {
        //...
    }
});

3. 复制对象

使用Object.assign()深度复制对象，包括其prototype

var Point = function(x)
{
    this.x = x;
}

Point.prototype.y = 2;

var obj = new Point(1);

var copy = Object.assign({ __proto__: obj.__proto__ }, obj); // 输出{x:1,y:2} 

console.log(copy) // 输出{x:1,y:2}

仅复制自身属性：

var Point = function(x)
{
    this.x = x;
}

Point.prototype.y = 2;

var obj = new Point(1);

var copy = Object.assign({}, obj); 

console.log(copy) // 输出{x:1}

参考

关于Fundebug：

Fundebug专注于JavaScript、微信小程序、微信小游戏、支付宝小程序、React Native、Node.js和Java实时BUG监控。 自从2016年双十一正式上线，Fundebug累计处理了7亿+错误事件，得到了Google、360、金山软件、百姓网等众多知名用户的认可。欢迎免费试用！

技术分享图片

版权声明：

转载时请注明作者Fundebug以及本文地址：
https://blog.fundebug.com/2017/09/11/object-assign/

以上是关于[博客入坑]CS231N assignment 1 _ KNN 知识 & 详细解析的主要内容，如果未能解决你的问题，请参考以下文章

CS231N assignment1

CS231N assignment 1 _ SVM 学习笔记 & 解析

CS231n assignment3 Q4 Style Transfer

CS231N课程作业Assignment1--SVM

CS231N课程作业Assignment1--Softmax

CS231N课程作业Assignment1--KNN