向AI转型的程序员都关注了这个号👇👇👇python
大数据挖掘DT机器学习 公众号： datayx程序员
课程地址、笔记、代码获取方式:web
一、转发本文至朋友圈
算法
二、关注微信公众号 datayx 而后回复 深度学习 便可获取。
windows
目录微信
神经网络与深度学习
1. 神经网络的基础网络
Logistic 回归app
Logistic 回归的损失函数框架
梯度降低法机器学习
逻辑回归的梯度降低法
m个样本的梯度降低法
向量化
Python 广播
2. 浅层神经网络
神经网络表示
神经网络输出
激活函数
激活函数的导数
神经网络的梯度降低法
随机初始化
3.深层神经网络
深层神经网络的前向传播和反向传播
核对矩阵的维数
使用深层表示的缘由
参数和超参数
改进深度神经网络：超参数调整，正则化和优化
1. 深度学习的实用层面
训练、验证、测试集
误差、方差
正则化
为何正则化有利于防止过拟合
dropout正则化
理解dropout
其余正则化方法
标准化(归一化)输入
梯度消失和梯度爆炸
神经网络的权重初始化
梯度的数值逼近
梯度检验
梯度验证应用的注意事项
2.优化算法
Mini-batch梯度降低
指数加权平均
理解指数加权平均
指数加权平均的误差修正
momentum梯度降低
RMSprop
Adam优化算法
学习率衰减
局部最优问题
3.超参数调试、Batch 正则化和程序框架
超参数调试处理
为超参数选择合适的范围
超参数调试实践:Pandas vs. Caviar
网络中的正则化激活函数
在神经网络中融入Batch Norm
Batch Norm 起做用的缘由
在测试数据上使用 Batch Norm
Softmax 回归
训练 Sotfmax 分类器
结构化机器学习项目
机器学习策略(1)
为何是ML策略
正交化
单一数字评估指标
知足和优化指标
训练集、开发集、测试集的划分
开发集和测试集的大小
何时改变开发/测试集和评估指标
为何是人的表现
可避免误差
理解人类的表现
超越人类的表现
改善你的模型表现
偏差分析
清除标注错误的数据
快速搭建第一个系统并开始迭代
在不一样分布上的训练集和测试集
数据分布不匹配的误差和方差分析
处理数据不匹配的问题
迁移学习
多任务学习
何为端到端的深度学习
是否使用端到端的深度学习方法
机器学习策略(2)
卷积神经网络
1. 卷积神经网络基础
计算机视觉
边缘检测示例
更多边缘检测的内容
padding
卷积步长
三维卷积
单层卷积网络
简单神经网络示例
池化层
卷积神经网络示例
为何使用卷积？
2. 深度卷积网络：实例探究
为何要进行实例探究
经典网络
LeNet-5
AlexNet
VGG
残差网络
为何残差有用？
网络中的网络以及1×1卷积
谷歌Inception网络简介
Inception网络
使用开源的实现方案
迁移学习
数据扩充
计算机视觉现状
3. 目标检测
目标定位(Object localization)
特征点检测(Landmark detection)
目标检测(Object detection)
卷积的滑动窗口实现(Convolutional implementation of sliding windows)
Bounding Box预测(Bounding box predictions)
交并比(Intersection over union)
非极大值抑制(Non-max suppression)
Anchor Boxes
YOLO 算法(Putting it together: YOLO algorithm)
候选区域(选修)(Region proposals (Optional))
3.特殊应用：人脸识别和神经风格转换
什么是人脸识别？(What is face recognition?)
One-Shot学习(One-shot learning)
Siamese 网络(Siamese network)
Triplet 损失(Triplet Loss)
面部验证与二分类(Face verification and binary classification)
什么是神经风格转换？(What is neural style transfer?)
什么是深度卷积网络？(What are deep ConvNets learning?)
代价函数(Cost function)
内容代价函数(Content cost function)
风格代价函数(Style cost function)
一维到三维推广(1D and 3D generalizations of models)
序列模型
1. 循环神经网络(RNN)
为何选择序列模型？
数学符号
循环神经网络模型
对时间序列参数共享的理解
经过时间的反向传播
不一样类型的循环神经网络
语言模型和序列生成
对新序列采样
循环神经网络的梯度消失
GRU单元
长短时间记忆(LSTM)
双向循环神经网络
深层循环神经网络
阅读过本文的人还看了如下：
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
Machine Learning Yearning 中文翻译稿
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
长按图片，识别二维码，点关注
深度学习 500问
使用 ReLu 激活函数的优势
1、在区间变更很大的状况下，ReLu 激活函数的导数或者激活函数的斜率都会远大于 0， 在程序实现就是一个 if-else 语句，而 sigmoid 函数须要进行浮点四则运算，在实践中，使用ReLu 激活函数神经网络一般会比使用 sigmoid 或者 tanh 激活函数学习的更快。
2、sigmoid 和 tanh 函数的导数在正负饱和区的梯度都会接近于 0，这会形成梯度弥散，而Relu 和 Leaky ReLu 函数大于 0 部分都为常数，不会产生梯度弥散现象。
3、需注意，Relu 进入负半区的时候，梯度为 0，神经元此时不会训练，产生所谓的稀疏 性，而 Leaky ReLu 不会产生这个问题。
本文分享自微信公众号 - 机器学习AI算法工程（datayx）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。