斯坦福大学 CS231N 卷积神经网络课程（Fei-Fei Li 主讲）学习笔记。
图像分类挑战
- 光照变化
- 形变
- 遮挡
- 类内差异
数据驱动方法
使用训练数据集进行学习。
最近邻算法
- L1 曼哈顿距离
- L2 欧氏距离
K近邻（KNN）分类
基于K个最近邻居的投票进行分类。
线性分类
图像像素通过线性函数变换：
f(x, W) = Wx + b
其中 W 表示学习到的权重，b 是偏置项，产生不同类别的分类分数。
损失函数
两种主要方法：
- SVM损失：支持向量机损失，最小值为0
- Softmax分类器：更常用，最小值也为0
优化
- 梯度下降概念
- 有限差分近似（用于调试）
- 反向传播：使用链式法则求导实现高效梯度计算
神经网络
两层神经网络架构，超越线性分类。
卷积神经网络（CNN）
CNN的历史意义：
- 2012年 ImageNet 竞赛的突破性表现
- 后续在人脸识别和医学影像中的应用