《Hands-On Machine Learning with Scikit-Learn&TensorFlow》读书笔记

一 机器学习概览

• 机器学习的广义概念是:机器学习是让计算机具备学习的能力,无需进行明确编程.
• 机器学习的工程性概念是:计算机程序利用经验E学习任务T,性能是P,若是针对任务T的性能P随着经验E不断增加,则为机器学习.
• 使用机器学习挖掘大量数据,发现不显著的规律,称为数据挖掘.
• 根据训练时监督的量和类型分为:

1. 监督学习:训练数据包含了标签,如分类,回归.
2. 非监督学习:训练数据没有标签.如聚类,降维,可视化.
3. 半监督学习:大量不带标签数据加上小部分带标签数据.如深度信念网络.
4. 强化学习:系统执行动做,得到奖励,而后学习策略.如AlphaGo.

• 根据是否从导入的数据流进行持续学习分为:

1. 批量学习(离线学习):不能进行持续学习,若是想学习新数据就要从新训练并更换系统.
2. 在线学习:可使用小批量持续地训练.缺点是坏数据会致使性能下滑.

• 根据如何进行概括推广分为:

1. 基于实例学习:先用记忆学习案例,而后用类似度测量推广到新的例子.
2. 基于模型学习:创建这些样本的模型,而后使用模型进行预测.

• 机器学习的主要挑战:

1. 数据量不足
2. 没有表明性的训练数据
3. 低质量数据
4. 不相关的特征
5. 过拟合
6. 欠拟合

• 使用训练集训练模型参数,验证集选取超参数,测试集预估偏差率.为了不浪费训练数据在验证集上,通常使用交叉验证.

二 一个完整的机器学习项目

• 本章的目标是创建一个房价预测系统,这是一个回归问题.主要步骤为:项目概述-获取数据-发现并可视化数据,发现规律-为机器学习算法准备数据-选择模型,进行训练-微调模型-给出解决方案-部署,监控,维护系统.
• 均方根偏差(RMSE)是回归问题的典型指标..
• 平均绝对偏差(MAE)也是一种选择.
• 在相似RMSE和MAE这样的范数中,范数的指数越高,就越关注大的值而忽略小的值.
• 利用pd.read_csv()读取数据后,能够用head(),info(),value_counts()和describe()方法大体了解数据.
• 在对测试集采样时,须要保证数据集中的每一个分层都要用足够的实例位于测试集中.能够将最重要的一类特征进行离散处理,而后使用sklearn的StratifiedShuffleSplit类来分层采样.
• 使用corr(),和pd.tools.plotting.scatter_matrix()方法能够探索特征之间的相关性.
• 特征之间相互组合产生的新特征也很重要.
• 大多数机器学习算法不能处理缺失的特征.能够:

1. dropna()去除对应行
2. drop()去掉对应属性
3. fillna()赋值
4. 使用sklearn的Imputer类来处理

• 对于文本和类别属性,能够用sklearn的OneHotEncoder来处理.
• 特征缩放是最重要的数据转换之一.能够用线性函数归一化(Normalization,减去最小值,除以最大值与最小值的差值,sklearn中的MinMaxScaler)和标准化(Standardization,减去平均值,除以方差,sklearn中的StandardScaler)来实现.
• sklearn提供了Pipeline类来实现流水线.
• sklearn的GridSearchCV能够用于网格搜索最佳的超参数组合.适用于搜索空间不大的状况.
• sklearn的RandomizedSearchCV能够用于随机搜索最佳的超参数组合.适用于搜索空间很大的状况.

三 分类

• 二分类问题的准度通常采用准确率(Precision),召回率(Recall)和F1值(2*P*R/(P+R)).ROC曲线也是一个经常使用的工具,它是真正例率对假正例率的曲线.ROC曲线下的面积称为AUC,AUC越接近1分类器的效果就越好.
• SVM或线性分类器是严格的二分类器,能够经过OvA(一对全部)或OvO(一对一)策略让它们执行多类分类.Sklearn会自动执行OvA或OvO(对SVM).
• 多标签分类是指分类器给一个样例输出多个类别.
• 多输出-多类分类是指分类器的输出是多标签的,而且每一个标签有多个值.例如图像去噪.

四 训练模型

• 介绍了批量梯度降低,随机梯度降低和小批量梯度降低,再也不赘述.
• 若是添加特征的高阶组合做为新特征,线性回归也能拟合非线性关系.
• 一个模型的泛化偏差是由误差(高误差意味着欠拟合),方差(高方差意味着过拟合),不可约偏差组成的.
• 训练中的损失函数应该易于求导,测试过程当中的评价函数应该接近最后的客观表现.
• 在正则化前对数据进行放缩是很是重要的.
• 岭(Ridge)回归是在线性回归的损失函数直接加上一个L2正则项
• Lasso回归是在线性回归的损失函数直接加上一个L1正则项.它倾向于彻底消除最不重要的特征的权重.
• 弹性网络(ElasticNet)介于Ridge回归和Lasso回归之间,它的正则项是二者正则项的简单混合.
• 早停(early stop)也是一种正则化方法.一旦验证集偏差中止降低,就提前中止训练.
• Logistic回归是一种分类算法.它计算输入特征的加权和,而后将结果输入logistic函数后输出.并根据输出值与阈值的比较决定分类结果.它的损失函数是对数损失,可使用梯度降低求解.

• Softmax回归用参数向量计算每一个类的得分,而后将得分传入softmax函数做为几率传出.使用的损失函数是交叉熵,用于衡量待测类别与目标类别的匹配程度.

五 支持向量机

• SVM能作线性或非线性的分类,回归,适合复杂但中小规模数据集的分类问题.SVM的最大间隔分类是由线性平面边缘的支持向量决定的.SVM对特征缩放很敏感.

• SVM的核技巧可使得不添加高次数的多项式特征或类似特征就产生一样的效果.经常使用的核函数是linear,poly和RBF,以及一些针对特定数据结构的核函数.