IBM SPSS Modeler算法系列------C&R Tree算法介绍

C&R Tree全称是Classification and Regression Tree,即分类及回归树，它是由美国斯坦福大学和加州大学伯克利分校的Breiman等人于1984年提出的，从名称中不难理解，它包含了分类树和回归树，分类树用于目标变量是分类型的，回归树用于目标变量是连续型的。

该算法分割的核心技术取决于目标变量的类型，若是是分类变量，能够选择使用Gini或者是Twoing.若是是连续变量，会自动选择LSD(Least-squared deviation)。

C&R Tree的生长是二叉树， 前面咱们讲过的C5.0和CHAID分别是以信息增益率和卡方为标准来选择最佳分组变量和分割点，今天咱们讲的C&R Tree，若是目标变量是分类型，则以Gini系数来确认分割点，若是目标变量是数值型，则以方差来确认分割点。

咱们先来说目标变量是分类型的状况，咱们称之为分类树：

在C&R Tree算法中，Gini系数反映的是目标变量组间差别程度，系数越小，组间差别越大。Gini系数计算公式以下：

G(t)=1-(t1/T)^2-(t2/T)^2-(t3/T)^2-(tn/T)^2

其中T为总记录数，t1,t2,t3,tn…..分别为输出变量每一个类别的记录数

为了比较好理解这个公式，咱们以分析结果来理解公式内容，以下图：

该决策树分析结果，是分析客户的流失为目标，影响的因素有小朋友个数（children),婚姻状态（Status)，年龄（age)等，咱们先从根节点开始看。

根节点的G(t)=1-(562/1469) ^2-(907/1469)^2=0.472421883

左边节点G(t1)=1-(439/833) ^2-(394/833) ^2=0.498540833

右边节点G(t2)=1-(123/636) ^2-(513/636) ^2=0.311988252

C&R Tree采用Gini系数的减小量来测量异质性降低，所以

ΔG(t)=G(t)-n1/N*G(t1)-n2/N*G(t2)=0.472421883-833/(833+636)* 0.498540833-636/(833+636)* 0.311988252=0.05464854

其中n1是左节点的记录数833，n2是右节点的记录数636，N是根节点的记录数833+636=1469。

计算最终获得的ΔG(t)=0.05464854就是上图中显示的改进=0.055（四舍五入），那么为何选择这个children<-1.5和children>1/5做为分割点，是由于与其它影响因素相比较，这里计算获得的ΔG(t)最大。因此在整个决策树生长中，能够看到，越往下生长，ΔG(t)越小。

针对连续变量，先对变量按升序排列，而后，从小到大依次以相邻数值的中间值做为将样本分为两组，而后分别计算其ΔG(t)。针对分类变量，因为C&R Tree只能创建二叉树（即只能有两个分支），首先需将多类别合并成两个类别，造成“超类”，而后计算两“超类”下样本输出变量取值的异质性。

在IBM SPSS Modeler中，除了使用Gini系数的减小量做为标准，还能够选择另外两种标准，分别是Twoing（两分法）和Ordered（有序），以下图：

Twoing策略中，输出变量的差别性测度仍采用Gini系数，不一样的是，再也不以使用Gini系数减小最快为原则，而是要找到使合并造成的左右子节点（两个超类）中分布差别足够大的合并点s，计算公式为：

仍如下图决策树结果为例：

所以

该数值对应着上图第一个根节点的改进=0.109（四舍五入）

能够看到，越是靠近根节点，该值越大。

Order策略适用于有序型输入变量的状况 ，它只限定只有两个连续的类别才能够合并成超类，最终获得最理想的两个超类。

接下来咱们来看目标变量是数值型的状况，咱们称为回归树。 回归树肯定最佳分组变量的策略与分类树相同，主要不一样是测试输出变量异质性的指标，

回归树使用的是方差，所以异质性降低的测度指标为方差的减小量，其数学定义为：

其中R(t)和N分别为分组前输出变量的方差和样本量，R(t1),Nt1和R(t2)，Nt2分别为分组后左右子树的方差和样本量。使ΔR(t)达到最大的变量应为当前最佳分组变量。咱们经过实际例子的结果倒推来理解这个计算公式。

咱们使用SPSS Modeler作一个男装销售额（men)预测的场景，由于销售额是数值型，咱们选择C&R Tree来实现，那么影响男装销售的输入影响因素有女装销售(women)、电话营销成本（phone)等，获得的决策树分析结果以下：

那么为何生成的决策树会以woman做为最佳分组变量，以51286.490做为分割点呢，因这它计算出来的ΔR(t)最大，你们能够尝试找个例子本身计算看看，这里再也不赘述。

最佳分割点的肯定方法与最佳分组亦是的肯定方法相同。

在IBM SPSSModeler里面，针对 C&R Tree算法，以上介绍的内容是肯定分割点的核心标准，对于该算法，还有其它的内容，好比剪枝，交互树建模等，感兴趣的话，能够点击如下连接到官网下载试用！

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>