Hoeffding不等式的认识以及泛化误差上界的证明

在机器学习中我们知道学习方法的泛化能力往往是通过研究泛化误差的概率上界所进行的，这个就简称为泛化误差上界。用直观的理解，在有限的训练数据中得到一个规律，认为总体也是近似这个规律的，那么就能用这个规律进行预测。比如一个大罐子里装满了红球和白球，各一半，我随手抓了一把，然后根据这些红球白球的比例预测整个罐子也是这样的比例，这样做不一定很准确，但结果总是近似的，而且如果抓出的球越多，预测结果也就越可信。

>>阅读原文<<