时间:2021-05-02
前几天,我去Reddit询问是否应该将Python用于ETL相关的转换,并且压倒性的回答是"是"。
但是,尽管我的Redditor同事热心支持使用Python,但他们建议研究Pandas以外的库-出于对大型数据集Pandas性能的担忧。
经过研究,我发现了很多用于数据转换的Python库:有些改进了Pandas的性能,而另一些提供了自己的解决方案。
我找不到这些工具的完整列表,所以我想我可以使用所做的研究来编译一个工具-如果我错过了什么或弄错了什么,请告诉我!
Pandas
总览
Pandas当然不需要介绍,但是我还是给它一个介绍。
Pandas在Python中增加了DataFrame的概念,并在数据科学界广泛用于分析和清理数据集。 它作为ETL转换工具非常有用,因为它使操作数据非常容易和直观。
优点
缺点
进一步阅读
Dask
总览
根据他们的网站," Dask是用于Python并行计算的灵活库。"
从本质上讲,Dask扩展了诸如Pandas之类的通用接口,供在分布式环境中使用-例如,Dask DataFrame模仿了。
优点
缺点
进一步阅读
Modin
总览
Modin与Dask相似之处在于,它试图通过使用并行性并启用分布式DataFrames来提高Pandas的效率。 与Dask不同,Modin基于Ray(任务并行执行框架)。
Modin优于Dask的主要好处是Modin可以自动处理跨计算机核心分发数据(无需进行配置)。
优点
缺点
进一步阅读
Petl
总览
petl包含了pandas的许多功能,但专为ETL设计,因此缺少额外的功能,例如用于分析的功能。 petl具有用于ETL的所有三个部分的工具,但本文仅专注于数据转换。
尽管petl提供了转换表的功能,但其他工具(例如pandas)似乎更广泛地用于转换和有据可查的文档,因此petl对此吸引力较小。
优点
缺点
进一步阅读
PySpark
总览
Spark专为处理和分析大数据而设计,并提供多种语言的API。 使用Spark的主要优点是Spark DataFrames使用分布式内存并利用延迟执行,因此它们可以使用集群处理更大的数据集,而Pandas之类的工具则无法实现。
如果要处理的数据非常大,并且数据操作的速度和大小很大,Spark是ETL的理想选择。
优点
缺点
进一步阅读
值得一提
尽管我希望这是一个完整的列表,但我不希望这篇文章过长!
确实有很多许多用于数据转换的Python工具,因此我包括了这一部分,至少是我错过的其他项目(我可能会在本文的第二部分中进一步探讨这些项目)。
结论
我希望这份清单至少可以帮助您了解Python必须提供哪些工具来进行数据转换。 在进行了这项研究之后,我相信Python是ETL的优秀选择-这些工具及其开发人员使它成为了一个了不起的平台。
就像我在本文开头提到的那样,我不是该领域的专家-如果您有任何补充,请随时发表评论!
谢谢阅读!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
ETL的考虑做数据仓库系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还
pyetl是一个纯python开发的ETL框架,相比sqoop,datax之类的ETL工具,pyetl可以对每个字段添加udf函数,使得数据转换过程更加灵活,相
torchvision包包含了目前流行的数据集,模型结构和常用的图片转换工具。torchvision.datasets中包含了以下数据集MNISTCOCO(用于
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是B
转换工具层出不穷,ffmpeg才是全能的转换工具,只是不支持图形操作。没有关系,命令行方式,在freebsd/linux下直接来我们的思路是,设定一个文件夹存放