Python读取数据集并消除数据中的空行方法

时间:2021-05-22

如下所示:

# -*- coding: utf-8 -*-# @ author hulei 2016-5-3from numpy import *import operatorfrom os import listdir import sysreload(sys)sys.setdefaultencoding('utf8') # x,y=getDataSet_dz('iris.data.txt',4) def getDataSet(filename,numberOfFeature): #将数据集读入内存 fr = open(filename) numberOfLines = len(fr.readlines()) #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list returnMat = zeros((numberOfLines,numberOfFeature)) #prepare matrix to return 3代表数据集中特征数目### classLabelVector = [] #prepare labels return fr = open(filename) index = 0 for line in fr.readlines(): line = line.strip() #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ') listFromLine = line.split(',') #split 以什么为标准分割一次 分成数组中的每个元素 returnMat[index,:] = listFromLine[0:numberOfFeature] #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素 if listFromLine[-1] == 'Iris-setosa' : classLabelVector.append(1) elif listFromLine[-1] == 'Iris-versicolor' : classLabelVector.append(2) else: #elif listFromLine[-1] == 'Iris-virginica' : classLabelVector.append(3) index += 1 return returnMat,classLabelVector def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行 numberOfLines = 0 mx = [] #将数据集 去除空行后存入 fr = open(filename) for line in fr.readlines(): line = line.strip() if line != '' : #去除空白行 numberOfLines+=1 mx.append( line.split(',') ) returnMat = zeros((numberOfLines,numberOfFeature)) classLabelVector = [] for index in range(numberOfLines) : returnMat[index,:] = mx[index][0:numberOfFeature] if mx[index][-1] == 'Iris-setosa' : classLabelVector.append(1) elif mx[index][-1] == 'Iris-versicolor' : classLabelVector.append(2) else: #elif listFromLine[-1] == 'Iris-virginica' : classLabelVector.append(3) return returnMat,classLabelVector

以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章