完美解决python针对hdfs上传和下载的问题


Posted in Python onJune 05, 2020

当我们使用python的hdfs包进行上传和下载文件的时候,总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件,将各个集群节点ip映射加上即可,如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识:python上传文件到hadoop异常问题

使用库:pyhdfs

调用方法:

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图:

完美解决python针对hdfs上传和下载的问题

异常现象2如下图:

完美解决python针对hdfs上传和下载的问题

异常现象3如下图:

完美解决python针对hdfs上传和下载的问题

原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是

我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常

解决办法:开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python基于递归算法实现的走迷宫问题
Aug 04 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
May 24 Python
python Pexpect 实现输密码 scp 拷贝的方法
Jan 03 Python
对python 中class与变量的使用方法详解
Jun 26 Python
python 设置xlabel,ylabel 坐标轴字体大小,字体类型
Jul 23 Python
python 实现图片上传接口开发 并生成可以访问的图片url
Dec 18 Python
浅谈python元素如何去重,去重后如何保持原来元素的顺序不变
Feb 28 Python
Python 炫技操作之合并字典的七种方法
Apr 10 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
解决Python3.7.0 SSL低版本导致Pip无法使用问题
Sep 03 Python
python switch 实现多分支选择功能
Dec 21 Python
Python一行代码实现自动发邮件功能
May 30 Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
JAVA SWT事件四种写法实例解析
Jun 05 #Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 #Python
基于Python爬虫采集天气网实时信息
Jun 05 #Python
浅谈pymysql查询语句中带有in时传递参数的问题
Jun 05 #Python
You might like
php环境无法上传文件的解决方法
2014/04/30 PHP
PHP基于关联数组20行代码搞定约瑟夫问题示例
2017/11/07 PHP
JavaScript 核心参考教程 内置对象
2009/10/13 Javascript
实现只能输入数字的input不用replace方法
2013/09/12 Javascript
JavaScript执行顺序详细介绍
2013/12/04 Javascript
javascript 模拟坦克大战游戏(html5版)附源码下载
2014/04/08 Javascript
JavaScript保留两位小数的2个自定义函数
2014/05/05 Javascript
Bootstrap安装环境配置教程分享
2016/05/27 Javascript
DOM操作和jQuery实现选项移动操作的简单实例
2016/06/07 Javascript
AngularJS基础 ng-disabled 指令详解及简单示例
2016/08/01 Javascript
Javascript基础回顾之(一) 类型
2017/01/31 Javascript
vuex state及mapState的基础用法详解
2018/04/19 Javascript
Nodejs 发布自己的npm包并制作成命令行工具的实例讲解
2018/05/15 NodeJs
vue router 跳转后回到顶部的实例
2018/08/31 Javascript
Vue-cli@3.0 插件系统简析
2018/09/05 Javascript
elementui之el-tebs浏览器卡死的问题和使用报错未注册问题
2019/07/06 Javascript
React实现阿里云OSS上传文件的示例
2020/08/10 Javascript
python原始套接字编程示例分享
2014/02/21 Python
Python实现生成简单的Makefile文件代码示例
2015/03/10 Python
Windows下Python使用Pandas模块操作Excel文件的教程
2016/05/31 Python
python3批量删除豆瓣分组下的好友的实现代码
2016/06/07 Python
python批量赋值操作实例
2018/10/22 Python
浅谈Python采集网页时正则表达式匹配换行符的问题
2018/12/20 Python
浅谈python的elementtree模块处理中文注意事项
2020/03/06 Python
Python爬虫爬取百度搜索内容代码实例
2020/06/05 Python
基于 Python 实践感知器分类算法
2021/01/07 Python
定义css设备类型-Media Queries图表简介及使用方法
2013/01/21 HTML / CSS
HTML5拍照和摄像机功能实战详解
2019/01/24 HTML / CSS
HTML5单选框、复选框、下拉菜单、文本域的实现代码
2020/12/01 HTML / CSS
Peter Millar官网:美国高档生活服饰品牌
2018/07/02 全球购物
盛大笔试题
2016/11/05 面试题
中间件的定义
2016/08/09 面试题
毕业生个人投资创业计划书
2014/01/04 职场文书
中专毕业生的自荐书
2014/07/01 职场文书
导游词之江南周庄
2019/12/06 职场文书
MySQL 数据库 增删查改、克隆、外键 等操作
2022/05/11 MySQL