时间:2021-05-22
这两天在测试过程中,遇到这样的问题:
数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。
比如说,这样的数据
需要对AskPrice值相同对应的AskQuantity 统计出来。
直接上脚本 :
import pandas as pdimport csvdf=pd.read_csv('D:\test\orderBook.csv')df_sum = df.groupby('AskPrice')['AskQuantity'].sum() df_sum.to_csv('D:\test\orderBook2.csv')然后运行得到:
这对于大数据量的处理特别方便。
补充知识:python处理csv文件(场景分类)
最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升级pip python -m pip install --upgrade pip
2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
将‘utf-8'改成'gbk'
以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一、Python读取csv文件说明:以Python3.x为例#读取csv文件方法1importcsvcsvfile=open('csvWrite.csv',ne
Python读取与写入CSV文件需要导入Python自带的CSV模块,然后通过CSV模块中的函数csv.reader()与csv.writer()来进行CSV文
第一:pandas.read_csv读取本地csv文件为数据框形式data=pd.read_csv('G:\data_operation\python_book
在python处理数据时,经常用到DataFrame和set。train=pd.read_csv('XXX.csv')#读取文件train=train['ite
1.读取数据用pandas中的read_csv()函数读取出csv文件中的数据:importpandasaspddf=pd.read_csv("comments