机器学习各种熵：从入门到全面掌握

   作者：     黄海安       编辑：   陈人和         概述 信息熵是信息论和机器学习中非常重要的概念，应用及其广泛，各种熵之间都存在某些直接或间接的联系，本文试图从宏观角度将各种熵穿插起来，方便理解。本文首先讲解机器学习算法中常用的各种熵的概念、公式、推导，并且联系机器学习算法进行说明熵的应用，最后是简单总结。希望通过本文能够全面的梳理熵的各方面知识，由于本人水平有限，如写

>>阅读原文<<