时间:2021-05-22
如下所示:
# -*- coding: utf-8 -*-# @ author hulei 2016-5-3from numpy import *import operatorfrom os import listdir import sysreload(sys)sys.setdefaultencoding('utf8') # x,y=getDataSet_dz('iris.data.txt',4) def getDataSet(filename,numberOfFeature): #将数据集读入内存 fr = open(filename) numberOfLines = len(fr.readlines()) #get the number of lines in the file file.readlines()是把文件的全部内容读到内存,并解析成一个list returnMat = zeros((numberOfLines,numberOfFeature)) #prepare matrix to return 3代表数据集中特征数目### classLabelVector = [] #prepare labels return fr = open(filename) index = 0 for line in fr.readlines(): line = line.strip() #strip() 参数为空时,默认删除空白符(包括'\n', '\r', '\t', ' ') listFromLine = line.split(',') #split 以什么为标准分割一次 分成数组中的每个元素 returnMat[index,:] = listFromLine[0:numberOfFeature] #classLabelVector.append(int(listFromLine[-1])) #append() 方法向列表的尾部添加一个新的元素 if listFromLine[-1] == 'Iris-setosa' : classLabelVector.append(1) elif listFromLine[-1] == 'Iris-versicolor' : classLabelVector.append(2) else: #elif listFromLine[-1] == 'Iris-virginica' : classLabelVector.append(3) index += 1 return returnMat,classLabelVector def getDataSet_dz(filename,numberOfFeature): #改进版,可以消除数据中的空白行 numberOfLines = 0 mx = [] #将数据集 去除空行后存入 fr = open(filename) for line in fr.readlines(): line = line.strip() if line != '' : #去除空白行 numberOfLines+=1 mx.append( line.split(',') ) returnMat = zeros((numberOfLines,numberOfFeature)) classLabelVector = [] for index in range(numberOfLines) : returnMat[index,:] = mx[index][0:numberOfFeature] if mx[index][-1] == 'Iris-setosa' : classLabelVector.append(1) elif mx[index][-1] == 'Iris-versicolor' : classLabelVector.append(2) else: #elif listFromLine[-1] == 'Iris-virginica' : classLabelVector.append(3) return returnMat,classLabelVector以上这篇Python读取数据集并消除数据中的空行方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Python导数据的时候,需要在一个大表上读取很大的结果集。如果用传统的方法,Python的内存会爆掉,传统的读取方式默认在内存里缓存下所有行然后再处理,内存容
ptb数据集是语言模型学习中应用最广泛的数据集,常用该数据集训练RNN神经网络作为语言预测,tensorflow对于ptb数据集的读取也定义了自己的函数库用于读
其实方法很简单~输入reset,选y。删除不可恢复。补充:Python中的del语句——变量删除Python中的del语句作用是删除变量,而不是删除数据>>>a
冗余合适。在进行数据表中的字段类型时要根据用户的用途进行,使用bit设计字段的类型,能够优化字段的处理,减少资源的浪费。数据的标准化对消除数据的冗余有很大的帮助
在使用python做大数据和机器学习处理过程中,首先需要读取hdfs数据,对于常用格式数据一般比较容易读取,parquet略微特殊。从hdfs上使用python