php通过thrift操作hbase-创新互联

环境配置

操作系统 centos 5.8   hadoop版本cloudera cdh4u3  hbase版本hbase-0.90.4-cdh4u3  php版本5.2

1.  下载并编译thrift

   # wget http://ftp.tc.edu.tw/pub/Apache/thrift/0.8.0/thrift-0.8.0.tar.gz

   安装所需的依赖包

   # yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel php php-devel

  # tar zxvf  thrift-0.8.0.tar.gz

   # cd thrift-0.8.0

  #   ./configure --prefix=/home/thrift --with-php-config=/usr/bin/php-config

 # make && make install

2  生成php和hbase的接口文件：

  # cd /home/thrift/

  # bin/thrift  --gen php $HBASE_HOME/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift

 # cd gen-php/Hbase

 # ls

Hbase.php  Hbase_types.php

3. 把PHP客户端需要的包及刚才生成的接口文件复制出来供php程序调用：

#  mkdir -p  /var/www/html/hbasethrift/libs    (/var/www/html为apache的web主目录)

#  cp -a /home/soft/thrift-0.8.0/lib/php/src /var/www/html/hbasethrift/libs

#  mkdir -p /var/www/html/hbasethrift/libs/packages

#  cp -a /home/thrift/gen-php/Hbase /var/www/html/hbasethrift/libs/packages

4.  启动hbase thrift server，测试php连接hbase

 # ./bin/hbase-daemon.sh start thrift

 hbase thrift 默认监听端口为9090

测试php连接与操作hbase代码

# vi hbasethrift.php

socketnew
>
>
transportnew
protocolnew
clientnew
>
tables>
columnsarray
>
>
>
t"table1"
>
>
t"test"
descriptors>
>>
t"table1"
descriptors>
>>
t"table1"
row"row_name"
valid"foobar-\xE7\x94\x9F\xE3\x83\x93"
mutationsarray
>
>
// 多记录批量提交(200提交一次时测试小记录大概在5000/s左右):  $rows = array('timestamp'=>$timestamp, 'columns'=>array('txt:col1'=>$col1, 'txt:col2'=>$col2, 'txt:col3'=>$col3));  $records = array(rowkey=>$rows,...);  $batchrecord = array();  foreach ($records as $rowkey => $rows) {      $timestamp = $rows['timestamp'];      $columns = $rows['columns'];      // 生成一条记录      $record = array();      foreach($columns as $column => $value) {          $col = new Mutation(array('column'=>$column, 'value'=>$value));          array_push($record, $col);      }      // 加入记录数组      $batchTmp = new BatchMutation(array('row'=>$rowkey, 'mutations'=>$record));      array_push($batchrecord, $batchTmp);  }  $ret = $hbase->mutateRows('test', $batchrecord);
 
>
table_name"table1"
row_name'row_name'
fam_col_name'entry:foo'
arr>
arrarray
k>
kTCell
value>
timestamp>
table_name"table1"
row_name"row_name"
arr>
>
k>
k0
TRowResultTRowResult
table_name'zTest'
startRow"9-9-20120627-"
stopRow"9-9-20120627_"
columnsArray
result>
record>
record
row>
column>
echo("$family_column={$Tcell->value}
");
echo("timestamp is $Tcell->timestamp");
>
?>

通过浏览器访问http://localhost/hbasethrift/hbasethrift.php,如果显示hbase中的表名与新建表table1 ，说明连接成功。

hbase thrift api 参考http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/thrift/doc-files/index.html

参考http://www.banping.com/2011/07/08/hbase-thrift-php/

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。