python访问hdfs的操作


Posted in Python onJune 06, 2020

pip install hdfs

python 读取hdfs目录或文件

import hdfs
 
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
  status=client.status(fileDir,False)
  if status:
    print (status)
    rst=client.download(fileDir,"/home/dev/gewei")
    print (rst)
exception Exception as e:
  print (e)

补充知识:用python访问hdfs出现webhdfs找不到的情况

有可能是webhdfs服务没有开启

向hdfs-site.xml文件中添加属性:

<property> 
  <name>dfs.webhdfs.enabled</name> 
  <value>true</value> 
</property>

可以使用如下命令检测,

获得目录的列表:

curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"

以上这篇python访问hdfs的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python urlopen 使用小示例
Sep 06 Python
Python中文编码那些事
Jun 25 Python
用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
Jul 14 Python
Python创建系统目录的方法
Mar 11 Python
基于windows下pip安装python模块时报错总结
Jun 12 Python
python 统计列表中不同元素的数量方法
Jun 29 Python
在Python中使用defaultdict初始化字典以及应用方法
Oct 31 Python
Python中new方法的详解
Jan 15 Python
python 函数中的内置函数及用法详解
Jul 02 Python
python 矢量数据转栅格数据代码实例
Sep 30 Python
python中的 zip函数详解及用法举例
Feb 16 Python
在jupyter notebook 添加 conda 环境的操作详解
Apr 10 Python
Python API 操作Hadoop hdfs详解
Jun 06 #Python
python读取hdfs上的parquet文件方式
Jun 06 #Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
You might like
将PHP作为Shell脚本语言使用
2006/10/09 PHP
PHP 自定义错误处理函数trigger_error()
2013/03/26 PHP
简单的cookie计数器实现源码
2013/06/07 PHP
PHP保留两位小数并且四舍五入及不四舍五入的方法
2013/09/22 PHP
ExtJS 2.0实用简明教程 之获得ExtJS
2009/04/29 Javascript
jQuery DOM操作小结与实例
2010/01/07 Javascript
js中的值类型和引用类型小结 文字说明与实例
2010/12/12 Javascript
Javascript写入txt和读取txt文件示例
2014/02/12 Javascript
jquery统计用户选中的复选框的个数
2014/06/06 Javascript
jQuery UI库中dialog对话框功能使用全解析
2016/04/23 Javascript
BootStrap glyphicons 字体图标实现方法
2016/05/01 Javascript
JS实现六位字符密码输入器功能
2016/08/19 Javascript
JS对象创建的几种方式整理
2017/02/28 Javascript
详解angularjs利用ui-route异步加载组件
2017/05/21 Javascript
JavaScript实现多重继承的方法分析
2018/01/09 Javascript
Vue中的无限加载vue-infinite-loading的方法
2018/04/08 Javascript
jQuery实现通过方向键控制div块上下左右移动的方法【测试可用】
2018/04/26 jQuery
详解如何在Javascript中使用Object.freeze()
2020/10/18 Javascript
[58:58]2018DOTA2亚洲邀请赛 4.4 淘汰赛 TNC vs VG 第二场
2018/04/05 DOTA
深入讲解Python编程中的字符串
2015/10/14 Python
Python基于分水岭算法解决走迷宫游戏示例
2017/09/26 Python
python抓取网页中链接的静态图片
2018/01/29 Python
python实现媒体播放器功能
2018/02/11 Python
python实现二级登陆菜单及安装过程
2019/06/21 Python
python输入中文的实例方法
2020/09/14 Python
如何创建一个Flask项目并进行简单配置
2020/11/18 Python
香港莎莎官网Sasa.com:亚洲著名国际化妆品商城
2019/11/10 全球购物
优秀老师事迹材料
2014/02/05 职场文书
贯彻学习两会心得体会范文
2014/03/17 职场文书
房地产广告策划方案
2014/05/15 职场文书
2014年社区重阳节活动策划方案
2014/09/16 职场文书
2016公司年会主持词
2015/07/01 职场文书
高三毕业感言
2015/07/30 职场文书
中学总务处工作总结
2015/08/12 职场文书
python for循环赋值问题
2021/06/03 Python
JVM钩子函数的使用场景详解
2021/08/23 Java/Android