时间:2021-05-22
在进行python数据分析的时候,首先要进行数据预处理。
有时候不得不处理一些非数值类别的数据,嗯, 今天要说的就是面对这些数据该如何处理。
目前了解到的大概有三种方法:
1,通过LabelEncoder来进行快速的转换;
2,通过mapping方式,将类别映射为数值。不过这种方法适用范围有限;
3,通过get_dummies方法来转换。
import pandas as pdfrom io import StringIOcsv_data = '''A,B,C,D1,2,3,45,6,,80,11,12,'''df = pd.read_csv(StringIO(csv_data))print(df)#统计为空的数目print(df.isnull().sum())print(df.values)#丢弃空的print(df.dropna())print('after', df)from sklearn.preprocessing import Imputer# axis=0 列 axis = 1 行imr = Imputer(missing_values='NaN', strategy='mean', axis=0)imr.fit(df) # fit 构建得到数据imputed_data = imr.transform(df.values) #transform 将数据进行填充print(imputed_data)df = pd.DataFrame([['green', 'M', 10.1, 'class1'], ['red', 'L', 13.5, 'class2'], ['blue', 'XL', 15.3, 'class1']])df.columns =['color', 'size', 'price', 'classlabel']print(df)size_mapping = {'XL':3, 'L':2, 'M':1}df['size'] = df['size'].map(size_mapping)print(df)## 遍历Seriesfor idx, label in enumerate(df['classlabel']): print(idx, label)#1, 利用LabelEncoder类快速编码,但此时对color并不适合,#看起来,好像是有大小的from sklearn.preprocessing import LabelEncoderclass_le = LabelEncoder()color_le = LabelEncoder()df['classlabel'] = class_le.fit_transform(df['classlabel'].values)#df['color'] = color_le.fit_transform(df['color'].values)print(df)#2, 映射字典将类标转换为整数import numpy as npclass_mapping = {label: idx for idx, label in enumerate(np.unique(df['classlabel']))}df['classlabel'] = df['classlabel'].map(class_mapping)print('2,', df)#3,处理1不适用的#利用创建一个新的虚拟特征from sklearn.preprocessing import OneHotEncoderpf = pd.get_dummies(df[['color']])df = pd.concat([df, pf], axis=1)df.drop(['color'], axis=1, inplace=True)print(df)以上这篇python数据预处理之将类别数据转换为数值的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
数值到大写命令英文命令:UNum 操作系统支持:Windows、Linux所属类别:数值转换将数值转换为简体或繁体的大写形式,返回转换后的文本。语法:文本型数值
简述数据预处理的内容是: 数据预处理(datapreprocessing)是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换
集合和容器都是Java中的容器。区别数组特点:大小固定,只能存储相同数据类型的数据集合特点:大小可动态扩展,可以存储各种类型的数据转换数组转换为集合:Array
python将数据换为txt的方法有很多,可以用xlrd库实现。本人比较懒,不想按太多用的少的插件,利用已有库pandas将excel文件转换为txt文件。直接
在实际数据分析过程中,我们分析用Python来处理数据(海量的数据),我们都是把这个数据转换为Python的对象的,比如最为常见的字典。比如现在有几十万份数据(