立即注册 登录
About云-梭伦科技 返回首页

desehawk的个人空间 https://www.aboutyun.com/?29 [收藏] [复制] [分享] [RSS]

日志

使用python来操作hive(通过pyhs2和HiveServer2)

已有 8861 次阅读2015-4-6 22:17

HiveServer2为客户端在远程执行hive查询提供了接口,通过Thrift RPC来实现,还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2,实现查询和取回结果的操作。    


 pyhs2的项目托管在github之上,地址为https://github.com/BradRuderman/pyhs2

可通过以下方式来安装:


easy_install pyhs2


如果安装不成功,可以尝试先安装以下的组件:


yum install cyrus-sasl-plain

yum install cyrus-sasl-devel


以下为一段测试用的代码,pyhs2提供了基本的功能,查询输出的结果为list,做点每天的定时任务用这个来写脚本还是很方便的:


#!/usr/bin/env python

# -*- coding: utf-8 -*-

# hive util with hive server2


"""

@author:knktc

@create:2014-04-08 16:55

"""


__author__ = 'knktc'

__version__ = '0.1'


import pyhs2


class HiveClient:

    def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN"):

        """

        create connection to hive server2

        """

        self.conn = pyhs2.connect(host=db_host,

                                  port=port,

                                  authMechanism=authMechanism,

                                  user=user,

                                  password=password,

                                  database=database,

                                  )


    def query(self, sql):

        """

        query

        """

        with self.conn.cursor() as cursor:

            cursor.execute(sql)

            return cursor.fetch()


    def close(self):

        """

        close connection

        """

        self.conn.close()



def main():

    """

    main process

    @rtype:

    @return:

    @note:


    """

    hive_client = HiveClient(db_host='hiveserver2.hadoop', port=10000, user='hdfs', password='mypass',

                             database='test_log', authMechanism='PLAIN')

    result = hive_client.query('select * from t_test limit 10')

    print result

    hive_client.close()



if __name__ == '__main__':

    main()


路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条