数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值。
从卷积的效果来看，在二维图像上进行卷积时，卷积核对所在区域上符合某种条件的像素赋予较多的权重，其他的像素赋予的权重较少，这可以看作是一种滤波行为，因此卷积神经网络的卷积核有时也被称为滤波器，卷积核所在区域被称为局部感知域。若局部感知域中存在像素符合加较大权重的条件，称这些像素具有某种特征，或称卷积核捕捉到了某种特征。
上图展示了一个3*3卷积核对5*5图片进行卷积后得到的结果。原图为一个“十”字图形，卷积核的中间列为1，其余元素为0，结果显示，原图中间那一列得到了加强，从直观上说，原图的中心位置在垂直方向上具有连续像素的特征，而卷积核捕捉到了这个特征。
如果原图的中间那一列发生了平移，卷积核依旧可以捕捉到这个特征（可能需要对原图的周边进行填充），或者说卷积操作的结果与特征在图中的位置没有关系，这是卷积神经网络对图像平移具有抗性的基础，当使用更大尺寸的图像和卷积核时，卷积神经网络还能够在一定程度上保持对旋转和透视变换的不敏感性。
在卷积神经网络流行之前，有使用gabor滤波器+SVM的识别模型，二维图像上的gabor滤波也是以卷积方式实现的，与卷积神经网络不同的是，gabor+svm模型使用svm作为分类器，卷积神经网络使用传统神经网络作为分类器，最重要的一点是gabor核需要人为设计，而卷积神经网络的卷积核通过反向传播学习得来，这使得卷积神经网络可以学习到人无法设计的特征，配合激活函数，可以给模型带来表达非线性特征的能力，进一步提升模型的性能。