时间:2021-05-20
C++ 将文件数据一次性加载进内存实例代码
问题:
早先写了一个目标检测SDK,里面有从bin文件加载模型和从内存加载模型两个接口。后来遇到了级联检测,即有多个bin模型文件,当想要把多个bin文件合并成一个的时候,发现对应的加载接口也得变。
解决:
为了不改变接口,采用了下面的解决思路:
(1) 将多个bin文件进行拼接,同时记录每个文件的大小.
合并后的文件为: 模型文件个数+模型A大小+…+模型X大小+模型A参数…
(2) 采用下面的方法将这个合并的文件一次性加载进内存
/**************** 将模型整个读入内存 ********************/ std::ifstream infile(detModFile,std::ios::binary); if (!infile.is_open()) { printf( "connot open the model file: %s\n",detModFile); return -1; } std::filebuf *pbuf = infile.rdbuf(); // 获取文件大小 long filesize = static_cast<long>((pbuf->pubseekoff (0,std::ios::end,std::ios::in))); pbuf->pubseekpos (0,std::ios::in); unsigned char* modelptr = new unsigned char[filesize]; // 读入文件内容 pbuf->sgetn ((char*)modelptr,filesize); infile.close(); // 获取模型个数 int model_num; int p_offset = 0; memcpy(&model_num,modelptr,sizeof(int)); p_offset += sizeof(int); //获取每个模型大小 std::vector<int> each_size(model_num); int model_size; for (int i = 0; i < model_num; i++) { memcpy(&model_size,modelptr+p_offset,sizeof(int)); p_offset += sizeof(int); each_size[i] = model_size; }(3) 然后调用从内存加载的接口;
感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。下面是代码作用是将数据从数据库读取出
PHP实现从数据库导出到.csv文件方法实现代码:publicfunctionexport(){//从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,
转存文件数超限说明用户一次性保存的文件数量太多了,建议用户将文件压缩一下,然后上传压缩包就可以了,或者说用户可以选择批量保存,也是比较方便的。 电脑文件,也可
使用go语言读取文件的各种方式整理。一次性加载到内存中//*整个文件读到内存,适用于文件较小的情况//每次读取固定字节//问题容易出现乱码,因为中文和中文符号不
正常情况下,我们可以使用fseek来读取,好处就是不会一次性读取,以下代码只适合边取边处理的情况,不适合一次性读取一次性处理。可以用以下办法生成测试文件复制代码