基于北京大学人工智能实践课程的 TensorFlow 模块化神经网络框架笔记。
两部分架构
前向传播（forward.py）
建立网络结构：
- 构建计算图
- 定义带正则化的权重初始化
- 设置偏置参数
反向传播（backward.py）
处理训练过程：
- 设置输入和标签的占位符（Placeholder）
- 损失函数计算（MSE 或交叉熵）
- 正则化集成
- 使用指数衰减的学习率调度
- 参数的指数滑动平均
- Session管理和训练循环
关键技术要素
- 指数衰减学习率：随训练进行逐步降低学习率
- 正则化损失：添加到集合中统一计算
- 滑动平均：应用于可训练变量，提升模型稳定性
以上为 TensorFlow 1.x 工作流中的标准实践。