时间:2021-05-22
在学习xg的 时候,想画学习曲线,但无奈没有没有这个 evals_result_
AttributeError: 'Booster' object has no attribute 'evals_result_'
因为不是用的分类器或者回归器,而且是使用的train而不是fit进行训练的,看过源码fit才有evals_result_这个,导致训练后没有这个,但是又想获取学习曲线,因此肯定还需要获取训练数据。
运行的结果 上面有数据,于是就想自己解析屏幕的数据试一下,屏幕可以看到有我们迭代过程的数据,因此想直接获取屏幕上的数据,思维比较low但是简单粗暴。
接下来分两步完成:
1) 获取屏幕数据
import subprocessimport pandas as pdtop_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)out, err = top_info.communicate()out_info = out.decode('unicode-escape')lines=out_info.split('\n')注:这里的main.py就是自己之前执行的python文件
2) 解析文件数据:
ln=0lst=dict()for line in lines: if line.strip().startswith('[{}] train-auc:'.format(ln)): if ln not in lst.keys(): lst.setdefault(ln, {}) tmp = line.split('\t') t1=tmp[1].split(':') t2=tmp[2].split(':') if str(t1[0]) not in lst[ln].keys(): lst[ln].setdefault(str(t1[0]), 0) if str(t2[0]) not in lst[ln].keys(): lst[ln].setdefault(str(t2[0]), 0) lst[ln][str(t1[0])]=t1[1] lst[ln][str(t2[0])]=t2[1] ln+=1json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()json_df.columns=['numIter','eval-auc','train-auc']print(json_df)整体代码:
import subprocessimport pandas as pdtop_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)out, err = top_info.communicate()out_info = out.decode('unicode-escape')lines=out_info.split('\n') ln=0lst=dict()for line in lines: if line.strip().startswith('[{}] train-auc:'.format(ln)): if ln not in lst.keys(): lst.setdefault(ln, {}) tmp = line.split('\t') t1=tmp[1].split(':') t2=tmp[2].split(':') if str(t1[0]) not in lst[ln].keys(): lst[ln].setdefault(str(t1[0]), 0) if str(t2[0]) not in lst[ln].keys(): lst[ln].setdefault(str(t2[0]), 0) lst[ln][str(t1[0])]=t1[1] lst[ln][str(t2[0])]=t2[1] ln+=1json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()json_df.columns=['numIter','eval-auc','train-auc']print(json_df)看下效果:
以上这篇获取python运行输出的数据并解析存为dataFrame实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python实现获取命令行输出结果的方法。分享给大家供大家参考,具体如下:Python获取命令行输出结果,并对结果进行过滤找到自己需要的!这里以获
笔者使用Python进行数据分析时,通过print输出Dataframe中的数据,当Dataframe行数很多时,中间部分显示省略号,如下图所示:0项华祥1何炅
本文实例讲述了Python实现获取邮箱内容并解析的方法。分享给大家供大家参考,具体如下:#-*-coding:utf-8-*-fromemail.parseri
利用EXCLE生成CSV文档,批量处理nslookup解析。并保存为CSV文档,方便进行查看:输入文档格式:data\domain.csv最终输出文档情况:da
本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考,具体如下:Python的pandas包对表格化的数据处理