时间:2021-05-22
当我们使用python的hdfs包进行上传和下载文件的时候,总会出现如下问题
requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known
其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中
修改/etc/hosts文件,将各个集群节点ip映射加上即可,如博主所示
vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01
补充知识:python上传文件到hadoop异常问题
使用库:pyhdfs
调用方法:
pyhdfs.HdfsClient(ip,port,user).copy_from_local()
pyhdfs.HdfsClient(ip,port,user).copy_to_local()
异常现象1如下图:
异常现象2如下图:
异常现象3如下图:
原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是
我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常
解决办法:开启data节点端口
以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
hdfs文件操作操作示例,包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,大家参考使用吧复制代码代码如下:importorg.apache
之前实现了使用流来讲http和ftp的文件下载到本地,也实现了将本地文件上传到hdfs上,那现在就可以做到将ftp和http的文件转移到hdfs上了,而不用先将
对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP客户端却是没有
很多朋友在留言区询问关于python上传文件和字符到服务器的问题,现编针对这个给大家整理了一个解决办法。上传简单的字符串defsend_str_server(s
hdfs上的文件是手动执行命令从本地linux上传至hdfs的。在真实的运行环境中,我们不可能每次手动执行命令上传的,这样太过繁琐。那么,我们可以使用hdfs提