决策树的一般流程

检测数据集中的每个子项是否属于同一个分类

if so return 类标签Else

寻找划分数据集的最好特征

划分数据集

创建分支 节点

from math import logimport operator#生成样本数据集def createDataSet(): dataSet = [[1,1,'yes'], [1,1,'yes'], [1,0,'no'], [0,1,'no'], [0,1,'no']] labels = ['no surfacing','flipper'] return dataSet,labels# 计算香农熵 香农 大神必须要膜拜啊，信息界的根目录人物啊# no surfacing 指的是 不浮出水面能否生存 1 标识 是 0 指的是否# flipper 指的是是否有脚# yes no指的是否是鱼类def calcShannonEnt(dataSet): numEntries = len(dataSet) # 用上面的createDataSet dataSet 这个值就是5 #定义标签字典 labelCounts = {} # 为所有可能的分类创建字典 for featVec in dataSet: currentLabel = featVec[-1] #这个-1指的是去取最后一个维度 对应数据dataSet 这里取的是yes和no if currentLabel not in labelCounts.keys(): # 如果当前分类标签不在 标签字典中 labelCounts[currentLabel] = 0 # 其他情况 分类标签分类加1 labelCounts[currentLabel] += 1 #定义香农熵 以2为底数求对数 shannonEnt = 0.0 for key in labelCounts: #计算 yes 或者No 出现的概率 pro = float(labelCounts[key])/numEntries # 计算香农熵 shannonEnt -= pro*log(pro,2) return shannonEnt#dataSet是待划分的数据集， 划分数据集的特征 axis 特征的返回值value#最后是创建了一个新的列表对象def splitDataSet(dataSet, axis , value): # 创建新list对象 retDataSet = [] for featVec in dataSet: if featVec[axis] == value: reducedFeatVec = featVec[:axis] reducedFeatVec.extend(featVec[axis+1:]) retDataSet.append(reducedFeatVec) return retDataSet# 选择最好的特征值进行数据集划分def chooseBestFeatureToSplit(dataSet): # len(dataSet[0]）是计算这一行有多少列，即有多少个特征值 numFeatures = len(dataSet[0])-1 # -1 是最后一个特征值就不要记录在内了，算baseEntrop的时候已经算了最后一个特征值yes no baseEntropy = calcShannonEnt(dataSet) bestInfoGain = 0.0 bestFeature = -1 for i in range(numFeatures): #创建唯一的分类标签列表 也就是说提取dataSet每一行第i个值 就提取dat featList = [example[i] for example in dataSet] # 取出有几种特征值 uniqueVals = set(featList) newEntropy = 0.0 for value in uniqueVals: #创建特征值的子数据集 subDataSet = splitDataSet(dataSet,i, value) #计算该特征值数据对总数在数据对总数出现的概率 pro = len(subDataSet)/float(len(dataSet)) #计算分割出来的子集香农熵 newEntropy += pro*calcShannonEnt(subDataSet) #计算信息增益 得到最好的特征值 这个理论是这样的g(D,A) = H(D)-H(D/A） infoGain = baseEntropy-newEntropy #取出最大的信息增益，此时特征值最大 if(infoGain >bestInfoGain): bestInfoGain = infoGain bestFeature = i return bestFeature'''#构建决策树是根据特征值的消耗来计算的，如果后面的特征值已经全部用完了但是还没有分出结果，这个时候就需要使用多数表决方式计算节点分类最后返回最大的分类'''def majorityCnt(classList): # 分类的字典 classCount = {} for vote in range(classList): #如果不在 分类字典中 if vote not in classCount.keys(): classCount[vote] = 0 classCount[vote] += 1 # 根据出现的次数大到小排序 sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) return sortedClassCount[0][0]#创建决策树def createTree(dataSet, labels): # 获取数据样本每组最后一组的特征值 这里是yes,no classList = [example[-1] for example in dataSet] # 如果说这个classList 全部都是 yes 或者全部是no 那肯定子返回yes 或者no if(classList.count(classList[0]) == len(classList)): return classList[0] #如果遍历完所有的特征返回出现次数最多的 #是用消耗特征值的方式进行构造决策树的，每次会消掉一个特征值 if len(dataSet[0]) == 1: return majorityCnt(classList) #选择最好的特征值 bestFeat = chooseBestFeatureToSplit(dataSet) bestFeatLabel = labels[bestFeat] myTree = {bestFeatLabel:{}} # 删除labels中的一特征值 del(labels[bestFeat]) #找到特征值那一列 featValues = [example[bestFeat] for example in dataSet] uniqueVals = set(featValues) for value in uniqueVals: # labels列表的赋值 subLabels = labels[:] myTree[bestFeatLabel][value]=createTree(splitDataSet(dataSet,bestFeat,value),subLabels) return myTreedataSet,lables = createDataSet()shannonEnt= calcShannonEnt(dataSet)my = createTree(dataSet,lables)print(my)

总结

以上所述是小编给大家介绍的Python3.0 实现决策树算法的流程,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！