python访问hdfs的操作


Posted in Python onJune 06, 2020

pip install hdfs

python 读取hdfs目录或文件

import hdfs
 
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
  status=client.status(fileDir,False)
  if status:
    print (status)
    rst=client.download(fileDir,"/home/dev/gewei")
    print (rst)
exception Exception as e:
  print (e)

补充知识:用python访问hdfs出现webhdfs找不到的情况

有可能是webhdfs服务没有开启

向hdfs-site.xml文件中添加属性:

<property> 
  <name>dfs.webhdfs.enabled</name> 
  <value>true</value> 
</property>

可以使用如下命令检测,

获得目录的列表:

curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"

以上这篇python访问hdfs的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中实现常量(Const)功能
Jan 28 Python
Python素数检测实例分析
Jun 15 Python
Python操作Excel之xlsx文件
Mar 24 Python
Python中Selenium模拟JQuery滑动解锁实例
Jul 26 Python
python实现百度语音识别api
Apr 10 Python
PYTHON基础-时间日期处理小结
May 05 Python
Python中将两个或多个list合成一个list的方法小结
May 12 Python
django的model操作汇整详解
Jul 26 Python
Python编程快速上手——疯狂填词程序实现方法分析
Feb 29 Python
Tensorflow加载Vgg预训练模型操作
May 26 Python
关于python中remove的一些坑小结
Jan 04 Python
再谈python_tkinter弹出对话框创建
Mar 20 Python
Python API 操作Hadoop hdfs详解
Jun 06 #Python
python读取hdfs上的parquet文件方式
Jun 06 #Python
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
Jun 06 #Python
完美解决python针对hdfs上传和下载的问题
Jun 05 #Python
python读取hdfs并返回dataframe教程
Jun 05 #Python
python pymysql链接数据库查询结果转为Dataframe实例
Jun 05 #Python
python mysql中in参数化说明
Jun 05 #Python
You might like
深入PHP empty(),isset(),is_null()的实例测试详解
2013/06/06 PHP
file_get_contents(&quot;php://input&quot;, &quot;r&quot;)实例介绍
2013/07/01 PHP
php遍历目录输出目录及其下的所有文件示例
2014/01/27 PHP
php判断输入是否是纯数字,英文,汉字的方法
2015/03/05 PHP
php实现点击可刷新验证码
2015/11/07 PHP
JQuery Dialog(JS 模态窗口,可拖拽的DIV)
2010/02/07 Javascript
Javascript load Page,load css,load js实现代码
2010/03/31 Javascript
基于jquery可配置循环左右滚动例子
2011/09/09 Javascript
JS代码同步文本框内容的实例方法
2013/07/12 Javascript
Nodejs sublime text 3安装与配置
2014/06/19 NodeJs
分享一些常用的jQuery动画事件和动画函数
2015/11/27 Javascript
JavaScript解析JSON格式数据的方法示例
2017/01/24 Javascript
JavaScript获取移动设备型号的实现代码(JS获取手机型号和系统)
2018/03/10 Javascript
vue异步axios获取的数据渲染到页面的方法
2018/08/09 Javascript
查找Vue中下标的操作(some和findindex)
2020/08/12 Javascript
[55:45]LGD vs OG 2019国际邀请赛淘汰赛 胜者组 BO3 第三场 8.24
2019/09/10 DOTA
浅谈Python NLP入门教程
2017/12/25 Python
Python聊天室程序(基础版)
2018/04/01 Python
selenium+python自动化测试之多窗口切换
2019/01/23 Python
Python依赖包整体迁移方法详解
2019/08/15 Python
Python如何用wx模块创建文本编辑器
2020/06/07 Python
AmazeUI的下载配置与Helloworld的实现
2020/08/19 HTML / CSS
英国假睫毛购买网站:FalseEyelashes.co.uk
2018/05/23 全球购物
Myprotein意大利官网:欧洲第一运动营养品牌
2018/11/22 全球购物
以太网Ethernet IEEE802.3
2013/08/05 面试题
生态学毕业生自荐信
2013/10/27 职场文书
令人啧啧称赞的经理推荐信
2013/11/07 职场文书
年度考核评语
2014/01/19 职场文书
电气自动化个人求职信范文
2014/02/03 职场文书
美术教师自我鉴定
2014/02/12 职场文书
捐款活动总结
2014/08/27 职场文书
社区灵活就业证明
2014/11/03 职场文书
欠款纠纷起诉状
2015/05/19 职场文书
迎国庆主题班会
2015/08/17 职场文书
Python3中PyQt5简单实现文件打开及保存
2021/06/10 Python
python模拟浏览器 使用selenium进入好友QQ空间并留言
2022/04/12 Python