完美解决python针对hdfs上传和下载的问题


Posted in Python onJune 05, 2020

当我们使用python的hdfs包进行上传和下载文件的时候,总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件,将各个集群节点ip映射加上即可,如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识:python上传文件到hadoop异常问题

使用库:pyhdfs

调用方法:

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图:

完美解决python针对hdfs上传和下载的问题

异常现象2如下图:

完美解决python针对hdfs上传和下载的问题

异常现象3如下图:

完美解决python针对hdfs上传和下载的问题

原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是

我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常

解决办法:开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现将xml导入至excel
Nov 20 Python
Python实现将罗马数字转换成普通阿拉伯数字的方法
Apr 19 Python
Python for循环与range函数的使用详解
Mar 23 Python
python2.7 安装pip的方法步骤(管用)
May 05 Python
如何用C代码给Python写扩展库(Cython)
May 17 Python
python实现动态数组的示例代码
Jul 15 Python
django之自定义软删除Model的方法
Aug 14 Python
Python爬虫使用代理IP的实现
Oct 27 Python
Python和Anaconda和Pycharm安装教程图文详解
Feb 04 Python
python批量修改xml属性的实现方式
Mar 05 Python
PyQt5的QWebEngineView使用示例
Oct 20 Python
python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
Dec 03 Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
JAVA SWT事件四种写法实例解析
Jun 05 #Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 #Python
基于Python爬虫采集天气网实时信息
Jun 05 #Python
浅谈pymysql查询语句中带有in时传递参数的问题
Jun 05 #Python
You might like
php生成xml简单实例代码
2009/12/16 PHP
php获取手机端的号码以及ip地址实例代码
2018/09/12 PHP
PHP内存溢出优化代码详解
2021/02/26 PHP
为jquery.ui.dialog 增加“在当前鼠标位置打开”的功能
2009/11/24 Javascript
js报错 Object doesn't support this property or method的原因分析
2011/03/31 Javascript
从URL中提取参数与将对象转换为URL查询参数的实现代码
2012/01/12 Javascript
JavaScript中函数声明优先于变量声明的实例分析
2012/03/01 Javascript
JS字符串拼接在ie中都报错的解决方法
2014/03/27 Javascript
Javascript学习笔记之函数篇(四):arguments 对象
2014/11/23 Javascript
在JavaScript中处理字符串之fontcolor()方法的使用
2015/06/08 Javascript
jQuery实现的自动加载页面功能示例
2016/09/04 Javascript
拖动时防止选中
2017/02/03 Javascript
Vue form 表单提交+ajax异步请求+分页效果
2017/04/22 Javascript
微信小程序 开发MAP(地图)实例详解
2017/06/27 Javascript
JS中正则表达式要注意lastIndex属性
2017/08/08 Javascript
ReactJs实现树形结构的数据显示的组件的示例
2017/08/18 Javascript
详解如何在你的Vue项目配置vux
2018/06/04 Javascript
如何获取vue单文件自身源码路径
2019/05/06 Javascript
python基础教程之缩进介绍
2014/08/29 Python
修改Python的pyxmpp2中的主循环使其提高性能
2015/04/24 Python
Python 'takes exactly 1 argument (2 given)' Python error
2016/12/13 Python
Python实现爬取需要登录的网站完整示例
2017/08/19 Python
Python 实现交换矩阵的行示例
2019/06/26 Python
Python制作词云图代码实例
2019/09/09 Python
Pytorch中Tensor与各种图像格式的相互转化详解
2019/12/26 Python
Django values()和value_list()的使用
2020/03/31 Python
python由已知数组快速生成新数组的方法
2020/04/08 Python
就业自荐书
2013/12/05 职场文书
2014年计生标语
2014/06/23 职场文书
学习三严三实心得体会
2014/10/13 职场文书
2015年护士医德医风自我评价
2015/03/03 职场文书
证券区域经理岗位职责
2015/04/10 职场文书
化妆品促销活动总结
2015/05/07 职场文书
创业计划书之便利店
2019/09/05 职场文书
导游词之珠海轮廓
2019/10/25 职场文书
python中%格式表达式实例用法
2021/06/18 Python