基于HBase Thrift接口的一些使用问题及相关注意事项的详解


Posted in PHP onJune 03, 2013

HBase对于非Java语言提供了Thrift接口支持,这里结合对HBase Thrift接口(HBase版本为0.92.1)的使用经验,总结其中遇到的一些问题及其相关注意事项。
1. 字节的存放顺序
HBase中,由于row(row key和column family、column qualifier、time stamp)是按照字典序进行排序的,因此,对于short、int、long等类型的数据,通过Bytes.toBytes(…)转换成byte数组后,必须按照大端模式(高字节在低地址,低字节在高地址)存放。对于value,也是同样的道理。因此,在使用Thrift API(C++、Php、Python等)方式时,最好对于row和value都统一按照大端进行pack和unpack处理。
举个例子,C++中,对于int型变量,经过以下方式转换为字典序:

string key;
  int32_t timestamp = 1352563200;
  const char* pTs =(const char*) ×tamp;
  size_t n = sizeof(int32_t);
  key.append(pTs, n);

通过以下方式将字典序转换为int:
const char * ts = key.c_str();
int32_t timestamp = *((int32_t*)(ts));

Php中则提供了pack和unpack方法进行转换:
  $key = pack("N", $num);
  $num = unpack("N", $key);

2. TScan的使用陷阱
HBase的PHP Thrift接口中,TScan可以直接通过设置startRow、stopRow、columns、filter等属性,默认这些属性均为null,设置后变为非null(通过TScan的构造函数或直接对TScan的成员变量进行赋值)。通过write()方法和Thrift Server进行RPC操作时,直接判断的依据是这些属性不为null,则通过Thrift协议传输到Thrift Server端。
但是在C++的Thrift接口中,TScan中有一个_TScan__isset __isset类型的变量,其内部结构如下:
typedef struct _TScan__isset {
  _TScan__isset() : startRow(false), stopRow(false), timestamp(false), columns(false), caching(false), filterString(false) {}
  bool startRow;
  bool stopRow;
  bool timestamp;
  bool columns;
  bool caching;
  bool filterString;
} _TScan__isset;

TScan的write()方法则是通过判断_TScan__isset下的各个bool变量标记是否设置了startRow、stopRow、columns、filter等属性,决定是否将这些属性通过Thrift协议传输到Thrift Server端,而这些属性必须通过__set_xxx()方法进行设置才能生效!在TScan的默认构造函数中,并不会对这些属性对应的__isset标记设置为true!
因此,如果直接通过TScan的构造函数初始化startRow、stopRow、columns、filter等属性会导致从头遍历该表,只有调用了__set_xxx()方法才会将对应的bool标识设置为true,这样服务端才会从Thrift Server获取startRow、stopRow、columns、filter等属性进行扫描。
3. 并发访问线程数
首先,为了尽可能减少由于网络传输带来的时间开销,HBase的Thrift Server最好和应用客户端部署在同一台机器上。Thrift Server启动时可以通过参数配置并发线程数,否则很容易导致Thrift Server线程满了不响应客户端的读写请求,具体命令:bin/hbase-daemon.sh start thrift --threadpool -m 200 -w 500(更多参数参考这里:bin/hbase-daemon.sh start thrift -h)。
4. 最大堆内存配置
如果客户端与Thrift Server进行scan操作顺序读取数据,而且设置了一定的cache记录条数(通过TScan的int32_t caching变量设置),那么这些被caching的记录数可能会占用Thrift Server相当部分的堆内存,尤其在多客户端并发访问时更明显。
因此,在Thrift Server启动前,可以调大最大堆内存,否则可能由于java.lang.OutOfMemoryError异常而导致进程被杀掉,尤其是当Scan时设置了较大的caching记录条数的情况(默认为export HBASE_HEAPSIZE=1000MB,可以在conf/hbase-env.sh中设置)。
PHP 相关文章推荐
社区(php&&mysql)三
Oct 09 PHP
php中的数组操作函数整理
Aug 18 PHP
php 特殊字符处理函数
Sep 05 PHP
PHP漏洞全解(详细介绍)
Nov 13 PHP
解析Win7 XAMPP apache无法启动的问题
Jun 26 PHP
PHP借助phpmailer发送邮件
May 11 PHP
文件上传之SWFUpload插件(代码)
Jul 30 PHP
用PHP的socket实现客户端到服务端的通信实例详解
Feb 04 PHP
PHP字符串中抽取子串操作实例分析
Jun 22 PHP
php校验公钥是否可用的实例方法
Sep 17 PHP
关于Laravel参数验证的一些疑与惑
Nov 19 PHP
PHP实现简易用户登录系统
Jul 10 PHP
基于php在各种web服务器的运行模式详解
Jun 03 #PHP
PHP运行模式的深入理解
Jun 03 #PHP
PHP代码保护--Zend Guard的使用详解
Jun 03 #PHP
ubuntu10.04配置 nginx+php-fpm模式的详解
Jun 03 #PHP
基于php-fpm的配置详解
Jun 03 #PHP
php的POSIX 函数以及进程测试的深入分析
Jun 03 #PHP
基于PHP一些十分严重的缺陷详解
Jun 03 #PHP
You might like
DIY一个适配电脑声卡的动圈话筒放大器
2021/03/02 无线电
PHP程序员基本要求和必备技能
2014/05/09 PHP
初识php MVC
2014/09/10 PHP
php中socket的用法详解
2014/10/24 PHP
php实现的单一入口应用程序实例分析
2015/09/23 PHP
jQuery 选择器项目实例分析及实现代码
2012/12/28 Javascript
在js中判断checkboxlist(.net控件客户端id)是否有选中
2013/04/11 Javascript
一个JavaScript防止表单重复提交的实例
2014/10/21 Javascript
jQuery幻灯片带缩略图轮播效果代码分享
2015/08/17 Javascript
javascript自动切换焦点控制效果完整实例
2016/02/02 Javascript
JSON字符串转换JSONObject和JSONArray的方法
2016/06/03 Javascript
Bootstrap编写一个兼容主流浏览器的受众巨幕式风格页面
2016/07/01 Javascript
Vue.JS入门教程之处理表单
2016/12/01 Javascript
深入理解Angularjs向指令传递数据双向绑定机制
2016/12/31 Javascript
ReactJs设置css样式的方法
2017/06/08 Javascript
基于LayUI实现前端分页功能的方法
2017/07/22 Javascript
基于js 字符串indexof与search方法的区别(详解)
2017/12/04 Javascript
axios post提交formdata的实例
2018/03/16 Javascript
node 使用 async 控制并发的方法
2018/05/07 Javascript
JS定时器如何实现提交成功提示功能
2020/06/12 Javascript
使用python在校内发人人网状态(人人网看状态)
2014/02/19 Python
如何搜索查找并解决Django相关的问题
2014/06/30 Python
利用Python破解验证码实例详解
2016/12/08 Python
Python简单的制作图片验证码实例
2017/05/31 Python
python实现对任意大小图片均匀切割的示例
2018/12/05 Python
python通过ffmgep从视频中抽帧的方法
2018/12/05 Python
python读写csv文件实例代码
2019/07/05 Python
django 信号调度机制详解
2019/07/19 Python
pytorch逐元素比较tensor大小实例
2020/01/03 Python
python读取多层嵌套文件夹中的文件实例
2020/02/27 Python
python实现excel公式格式化的示例代码
2020/12/23 Python
德国专业木制品经销商:Holz-Direkt24
2019/12/26 全球购物
询价采购方案
2014/06/09 职场文书
党支部特色活动方案
2014/08/20 职场文书
查摆剖析材料范文
2014/09/30 职场文书
python 如何用terminal输入参数
2021/05/25 Python