时间:2021-05-22
一.python读取txt文件
最简单的open函数:
# -*- coding: utf-8 -*-with open("test.txt","r",encoding="gbk",errors='ignore') as f: print(f.read())这里用open函数读取了一个txt文件,”encoding”表明了读取格式是“gbk”,还可以忽略错误编码。
另外,使用with语句操作文件IO是个好习惯,省去了每次打开都要close()。
二.python读取json文件
简单的test.json文件如下:
{ "glossary": { "title": "example glossary", "GlossDiv": { "title": "S", "GlossList": { "GlossEntry": { "ID": "SGML", "SortAs": "SGML", "GlossTerm": "Standard Generalized Markup Language", "Acronym": "SGML", "Abbrev": "ISO 8879:1986", "GlossDef": { "para": "A meta-markup language, used to create markup languages such as DocBook.", "GlossSeeAlso": ["GML", "XML"] }, "GlossSee": "markup" } } } }}这里需要用python的json模块处理解析:
import jsondata = json.load(open('example.json'))print(type(data))print(data)打印如下:
<class 'dict'>{'glossary': {'title': 'example glossary', 'GlossDiv': {'title': 'S', 'GlossList': {'GlossEntry': {'ID': 'SGML', 'SortAs': 'SGML', 'GlossTerm': 'Standard Generalized Markup Language', 'Acronym': 'SGML', 'Abbrev': 'ISO 8879:1986', 'GlossDef': {'para': 'A meta-markup language, used to create markup languages such as DocBook.', 'GlossSeeAlso': ['GML', 'XML']}, 'GlossSee': 'markup'}}}}}可见json.load()函数返回值是dict,json数据现在就成了一个网状的Python字典。
接下来我们就可以用标准的键检索来进行解读,比如:
print(data['glossary']['GlossDiv']['GlossList'])打印结果如下:
{'GlossEntry': {'ID': 'SGML', 'SortAs': 'SGML', 'GlossTerm': 'Standard Generalized Markup Language', 'Acronym': 'SGML', 'Abbrev': 'ISO 8879:1986', 'GlossDef': {'para': 'A meta-markup language, used to create markup languages such as DocBook.', 'GlossSeeAlso': ['GML', 'XML']}, 'GlossSee': 'markup'}}三.python 读取HFD5文件
HDF5 是一种层次化的格式(hierarchical format),经常用于存储复杂的科学数据。例如 MATLAB 就是用这个格式来存储数据。在存储带有关联的元数据(metadata)的复杂层次化数据的时候,这个格式非常有用,例如计算机模拟实验的运算结果等等。
与HDF5 相关的主要概念有以下几个:
文件 file: 层次化数据的容器,相当于树根('root' for tree)
组 group: 树的一个节点(node for a tree)
数据集 dataset: 数值数据的数组,可以非常非常大
属性 attribute: 提供额外信息的小块的元数据
# -*- coding: utf-8 -*-#创建hdf5文件import datetimeimport osimport h5pyimport numpy as npimgData = np.zeros((30,3,128,256))if not os.path.exists('test.hdf5'): with h5py.File('test.hdf5') as f: f['data'] = imgData #将数据写入文件的主键data下面 f['labels'] = range(100)创建完成之后读取:
import datetimeimport osimport h5pyimport numpy as npwith h5py.File('test.hdf5') as f: print(f) print(f.keys)除了上述方法,pandas还提供一个直接读取h5文件的函数:
pd.HDFStoreimport datetimeimport osimport h5pyimport numpy as npimport pandas as pddata = pd.HDFStore("dataset_log.h5")print(type(data))打印结果为:
<class 'pandas.io.pytables.HDFStore'>Closing remaining open files:dataset_log.h5...done以上这篇python 读取txt,json和hdf5文件的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
python3.x环境下,使用h5py加载HDF5文件,查看keys,如下:>>>importh5py>>>f=h5py.File("a.h5",'r')>>>
什么是HDF5HDF5:HierarchicalDataFormatVersion5,对于存储大规模、具有相同类型的数据,HDF5是一种非常不错的存储格式,文件
问题描述:训练结束后,保存model为hdf5和yaml格式的文件yamlFilename=os.path.join(dir,filename)yamlMode
1、引言通过参考相关博客对hdf5格式简要介绍。hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。使用压缩可以提磁
代码使用说明1970-2270文件夹是保存图像和json文件(也就是需要进行转换的文件)det文件夹是保存单个json对应的txt(因为np.savetxt函数