时间:2021-05-22
kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时,只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,kNN方法较其他方法更为适合。
通俗简单的说,就是将这个样本进行分类,怎么分类,就是用该样本的特征与空间中其他样本做计算距离,当出现大多数距离偏向于某个样本类时,我们认为该样本属于这个类别。
举例说明:淘宝商品是按类进行售卖的,对于零食类商品a,b,c,价格与销量分别对应(19,1000),(89,500),(9.9,3000)对与电器类商品d,e,f,价格与销量分别为(1000,10),(499,30),(999,100),对于一个未知的产品(300,80),我们使用kNN算法进行求解,我们假设k=3(k的值要时情况而定,没有确定的),分别求出未知产品到这六个点的欧式距离,即:sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序,我们得出前三的点分别为:e,b,f。所以我们认为未知产品是电器类产品,当然实际生活中不能仅仅有价格,销量这两个二维数据,可能是n维数据,欧式距离的公式也是一样的,现实中也不仅仅有这两个分类,kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据,未知数据称为测试数据。
还有在进行计算时有时需要格式化一下数据,例如对于c产品与未知产品,明显计算销量所产生的数据要远大于价格,为了减小这个带来的误差,可以使用以下:
参考链接
def normData(dataSet): maxVals = dataSet.max(axis=0)#按列获取最大值,并返回数组 minVals = dataSet.min(axis=0) ranges = maxVals - minVals retData = (dataSet - minVals) / ranges return retData, ranges, minVals代码
#!/user/bin/env python#-*- coding:utf-8 -*-import numpy as npimport operator as optdef normData(dataSet):#标准化训练集数据 maxVals = dataSet.max(axis=0) minVals = dataSet.min(axis=0) ranges = maxVals - minVals retData = (dataSet - minVals) / ranges return retData, ranges, minValsdef kNN(dataSet, labels, testData, k): distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方 distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和,axis=0则按列计算 distances = distSquareSums ** 0.5 # 开根号,得出每个样本到测试点的距离 sortedIndices = distances.argsort() # 排序,得到排序后的下标 indices = sortedIndices[:k] # 取最小的k个 labelCount = {} # 存储每个label的出现次数,出现次数最多的就是我们要选择的类别 for i in indices: label = labels[i] labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一,使用字典的get方法,第一次出现时默认值是0 sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序 return sortedCount[0][0] # 返回出现次数最大的labelif __name__ == "__main__":#测试程序 dataSet = np.array([[2, 3], [6, 8]])#训练集 normDataSet, ranges, minVals = normData(dataSet) labels = ['a', 'b']#训练集分别为a和b类 testData = np.array([3.9, 5.5])#测试数据 normTestData = (testData - minVals) / ranges#同样需要将测试数据标准化 result = kNN(normDataSet, labels, normTestData, 1)#k=1 print(result)以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
前面文章分别简单介绍了线性回归,逻辑回归,贝叶斯分类,并且用python简单实现。这篇文章介绍更简单的knn,k-近邻算法(kNN,k-NearestNeigh
本文实例为大家分享了python实现knn算法的具体代码,供大家参考,具体内容如下knn算法描述对需要分类的点依次执行以下操作:1.计算已知类别数据集中每个点与
KNN(K-Nearest-NeighboursClassiflication)分类算法,供大家参考,具体内容如下最简单的分类算法,易于理解和实现实现步骤:通过
本文实例为大家分享了PythonKNN分类算法的具体代码,供大家参考,具体内容如下KNN分类算法应该算得上是机器学习中最简单的分类算法了,所谓KNN即为K-Ne
kNN(k-nearestneighbor)是一种基本的分类与回归的算法。这里我们先只讨论分类中的kNN算法。k邻近算法的输入为实例的特征向量,对对应于特征空间