机器学习基本概念笔记

基本概念

神经网络：NN Neural Network

卷积神经网络：CNN  Convolutional Neural Network

循环神经网络：RNN  Recurrent Neural Networks

深度神经网络：DNN  Deep Neural Networks

天然语言处理；NLP  Natural Language Processing

神经语言程序学：NLP  Neuro-Linguistic Programming)

多层神经网络：MLP  Multi-Layer Perceptron  (一个层叫线性回归，多个是MLP)

 

梯度降低法的三种形式：http://www.cnblogs.com/maybe2030/p/5089753.html

批量梯度降低法：BGD  Batch Gradient Descent

随机梯度降低法：SGD  Stochastic Gradient Descent

小批量梯度降低法：MBGD  Mini-batch Gradient Descent

此外还有： Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam  

http://blog.csdn.net/u014595019/article/details/52989301

 BP算法：是由学习过程由信号的正向传播与偏差的反向传播两个过程组成。因为多层前馈网络的训练常常采用偏差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。Error Back Propagation，偏差反向传播。

数据集 Data Set

样本 Sample

属性  Attribute  特征 Feature

特征值 Feature Value

特征和样本所张成的空间：

特征空间  Feature Space  样本空间 Sample Space  标签空间 Label Space

模型是分类器时，类别空间

数据集：训练集Training Set  测试集 Test Set  交叉验证集 Cross-Validation Set （CV Set）

假设空间：模型在数学上的适用场景

泛化能力：模型在未知数据上的表现

数据集网站：http://archive.ics.uci.edu/ml/datasets.html

结构风险最小化：SRM Structural Risk Minization

传统为：经验风险最小化 ERM Empirical Risk Minization

三种交叉验证： S-fold Cross validation （S折交叉验证）  留一交叉验证 （Leave-one-out Cross Validation）  简单交叉验证

极大似然估计：ML估计 Maximum Likelihood Estimate

极大后验几率估计：MAP

贝叶斯决策论：Bayesian Decision Theory

朴素贝叶斯：Naive Bayes

离散型朴素贝叶斯：MultinomialNB

连续性朴素贝叶斯：GaussianNB

混合型朴素贝叶斯：MergedNB