时间:2021-05-22
在处理数据过程中经常要把数据集切分为训练集和测试集,因此记录一下切分代码。
'''data:数据集test_ratio:测试机占比如果data为numpy.numpy.ndarray直接使用此代码如果data为pandas.DatFrame类型则 return data[train_indices],data[test_indices]修改为 return data.iloc[train_indices],data.iloc[test_indices]'''def split_train(data,test_ratio): shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]测试代码如下:
import numpy as npimport pandas as pddata=np.random.randint(100,size=[25,4])print(data)结果如下:
从上图可以看出,原数据集按照5:1被随机分为两部分。但是此种方法存在一个缺点–每次调用次函数切分同一个数据集切分出来的结果都不一样,因此常在np.random.permutation(len(data))先调用np.random.seed(int)函数,来确保每次切分来的结果相同。
因此将上述函数改为:
def split_train(data,test_ratio): np.random.seed(43) shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]这个函数np.random.seed(43)当参数为同一整数时产生的随机数相同。
以上这篇Python数据集切分实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python实现的大数据分析操作系统日志功能。分享给大家供大家参考,具体如下:一代码1、大文件切分importosimportos.pathimp
本文实例讲述了Python实现简单拆分PDF文件的方法。分享给大家供大家参考。具体如下:依赖pyPdf处理PDF文件切分pdf文件使用方法:1)将要切分的文件放
在机器学习或者深度学习中,我们常常碰到一个问题是数据集的切分。比如在一个比赛中,举办方给我们的只是一个带标注的训练集和不带标注的测试集。其中训练集是用于训练,而
本文实例为大家分享了Python实现k-means算法的具体代码,供大家参考,具体内容如下这也是周志华《机器学习》的习题9.4。数据集是西瓜数据集4.0,如下编
本文实例讲述了python实现按行切分文本文件的方法。分享给大家供大家参考,具体如下:python脚本利用shell命令来实现文本的操作,这些命令大大减少了我们