03机器学习实战之决策树scikit-learn实现

sklearn.tree.DecisionTreeClassifier

基于 scikit-learn 的决策树分类模型 DecisionTreeClassifier 进行的分类运算

http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)

参数：

criterion : 默认为 "gini"。是特征选择的标准，可选择基尼系数 "gini" 或者 信息熵 "entropy"。

splitter : 默认为 "best"。"best" 是在特征的全部划分点中找出最优的划分点。"random" 是随机的在部分划分点中找局部最优的划分点。"best" 适合样本量不大的时候，若是样本数据量很是大，推荐 "random"。

max_depth : 默认为 None。设置树的最大深度。若是是 None，则不限制子树的深度，直到全部叶子是纯的，或者全部叶子包含少于 min_samples_split 的样本。

min_samples_split : 默认为 2，能够是 int 或者 float 格式。限制子树继续划分的条件，若是节点的样本数小于这个值，则不会再划分。当为 float 值时，拆分的最小样本数为 ceil(min_samples_split * n_samples)。

min_samples_leaf : 默认为1，能够是 int 或者 float 格式。设置叶子节点的最小样本数，若是某叶子节点数目小于样本数，则会和兄弟节点一块儿被剪枝。当为 float 值时，此时叶子最小样本数为 ceil（min_samples_leaf * n_samples）。

min_weight_fraction_leaf : 叶子节点最小的样本权重和。这个值限制了叶子节点全部样本权重和的最小值，若是小于这个值，则会和兄弟节点一块儿被剪枝。 默认是0，就是不考虑权重问题。通常来讲，若是咱们有较多样本有缺失值，或者分类树样本的分布类别误差很大，就会引入样本权重，这时咱们就要注意这个值了。

max_features : 划分时考虑的最大特征数，默认为 None。是划分时考虑的最大特征数，

• 若是是 int, 最大特征数为此 max_features 值。
• 若是是 float,  值为 int(max_features * n_features)。
• 若是是 “auto”, 值为 max_features=sqrt(n_features)。
• 若是是 “sqrt”, 值为 max_features=sqrt(n_features)。
• 若是是 “log2”, 值为 max_features=log2(n_features)。
• 若是是 None, 值为 max_features=n_features 表示划分时考虑全部的特征数。
• random_state : 默认为 None。随机种子。

max_leaf_nodes : 最大叶子节点数，默认为 None。限制最大叶子节点数，能够防止过拟合若是为 None，则不显示最大的叶子节点数。

class_weight : 指定样本各种别的的权重。默认为 None，表示没有权重偏倚。若是为 "balanced"，则算法会本身计算权重，样本少的权重高，公式：n_samples / (n_classes * np.bincount(y))。

min_impurity_decrease : 默认为0。参数的意义是，若是继续分裂能减小的杂质大于或等于该值，则分裂节点。

min_impurity_split : 若是节点的不纯度高于阈值，节点将分裂。（已被 min_impurity_decrease 代替）。

presort : 设置数据是否预排序，默认为 False。在大型数据集上，设置为 True 可能反而会下降训练速度，在较小数据集或者限制深度的树上使用 True 能加快训练速度。

属性：

max_features_ : 特征的数量

feature_importances_ : 特征的重要性。

原文：https://blog.csdn.net/tz_zs/article/details/73796241

 

 

 

In [87]:

import csv
from sklearn.feature_extraction import DictVectorizer
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO

# Read in the csv file and put features into list of dict and list
#  of class label
# open（）函数最好用绝对路径
allElectronicsData = open(r'd:/AllElectronics.csv', 'rt')  # 此处必须用rt不能用rb读取文本文件
reader = csv.reader(allElectronicsData)
headers = next(reader)  # 此处已改
headers

Out[87]:

['RID', 'age', 'income', 'student', 'credit_rating', 'class_buys_computer']

 

scikit-learn要求全部输入的值为数值型，而不能为咱们本数据中的文字或者字符，所以须要先进行转化。 数据中的age转化成三维的一个量：yougth，middle-age，senor，若是是yougth则为 1 0 0，一样的能够转化其余属性。

In [88]:

featureList = []
labelList = []

for row in reader:
    labelList.append(row[len(row) - 1])  # row为一个list，不能用row[-1]
    rowDict = {}
    for i in range(1, len(row) - 1):
        rowDict[headers[i]] = row[i]
    featureList.append(rowDict)
print(featureList)

 

[{'age': 'youth', 'income': 'high', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'high', 'student': 'no', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'high', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'low', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'low', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'low', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'youth', 'income': 'medium', 'student': 'no', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'low', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'youth', 'income': 'medium', 'student': 'yes', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'medium', 'student': 'no', 'credit_rating': 'excellent'}, {'age': 'middle_aged', 'income': 'high', 'student': 'yes', 'credit_rating': 'fair'}, {'age': 'senior', 'income': 'medium', 'student': 'no', 'credit_rating': 'excellent'}]

 

把原始数据转化成list字典，是为了利用python提供的模块，直接把数据转化成0-1格式

In [89]:

# Vetorize features
vec = DictVectorizer()  # 实例化
dummyX = vec.fit_transform(featureList).toarray()

print("dummyX: " + str(dummyX))
print(vec.get_feature_names())

 

dummyX: [[0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]
 [0. 0. 1. 1. 0. 1. 0. 0. 1. 0.]
 [1. 0. 0. 0. 1. 1. 0. 0. 1. 0.]
 [0. 1. 0. 0. 1. 0. 0. 1. 1. 0.]
 [0. 1. 0. 0. 1. 0. 1. 0. 0. 1.]
 [0. 1. 0. 1. 0. 0. 1. 0. 0. 1.]
 [1. 0. 0. 1. 0. 0. 1. 0. 0. 1.]
 [0. 0. 1. 0. 1. 0. 0. 1. 1. 0.]
 [0. 0. 1. 0. 1. 0. 1. 0. 0. 1.]
 [0. 1. 0. 0. 1. 0. 0. 1. 0. 1.]
 [0. 0. 1. 1. 0. 0. 0. 1. 0. 1.]
 [1. 0. 0. 1. 0. 0. 0. 1. 1. 0.]
 [1. 0. 0. 0. 1. 1. 0. 0. 0. 1.]
 [0. 1. 0. 1. 0. 0. 0. 1. 1. 0.]]
['age=middle_aged', 'age=senior', 'age=youth', 'credit_rating=excellent', 'credit_rating=fair', 'income=high', 'income=low', 'income=medium', 'student=no', 'student=yes']

In [91]:

# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
print("dummyY: " + str(dummyY))

 

dummyY: [[0]
 [0]
 [1]
 [1]
 [1]
 [0]
 [1]
 [0]
 [1]
 [1]
 [1]
 [1]
 [1]
 [0]]

In [96]:

# Using decision tree for classification
# clf = tree.DecisionTreeClassifier()
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(dummyX, dummyY)
# Visualize model
with open(r"d:/allElectronicInformationGainOri.dot", 'w') as f:
    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)

 

由于上图中的路径为d盘根目录，进入cmd命令而后进入d盘cd \，d：，执行下面的命令： dot -Tpdf allElectronicInformationGainOri.dot -o outpu.pdf 转化为pdf