立即注册 登录
About云-梭伦科技 返回首页

阿飞的个人空间 https://www.aboutyun.com/?3890 [收藏] [复制] [分享] [RSS]

日志

Kyuubi详解

已有 545 次阅读2022-12-30 08:43 |系统分类:大数据

2022年12月22日,Apache 软件基金会(ASF)官方宣布 Apache Kyuubi 正式毕业,成为顶级项目(TLP)。

Apache Kyuubi 是一个分布式和多租户网关,用于在数据仓库和湖仓上提供无服务器SQL。

项目最初由网易数帆开发并于2018年开源,2021年6月捐赠 Apache基金会,经过1年多的孵化于2022年11月通过投票,在12月顺利毕业,成为 Apache 基金会顶级开源项目!




Apache Kyuubi 简介
Apache Kyuubi 在各种现代计算框架之上建立了分布式SQL查询引擎,例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和Trino等,以查询分布在异质数据源的机器群上的大规模数据集。

统一网关:通过一个入口点实现对任何集群资源的简化、安全访问,为终端用户部署不同的工作负载

应用编程接口:支持各种API,包括Apache Thrift™、JDBC、ODBC、REST等,便于访问。

多租户:支持端到端的多租户,这对集群的安全性和并发性都有利。

高可用性:确保其在指定时间内连续无障碍运行,以满足商定的运行性能水平。

无服务器SQL及更多:使最终用户更容易从数据宇宙中获得洞察力,并优化数据管道,无论他们的技术知识如何。它能够使用熟悉的SQL为各种工作负载提供与RDBMS相同的用户体验,在不同的数据源上提供广泛和安全的数据访问能力,并通过可扩展的计算资源为大量数据提供高性能。

易用性:终端用户可以有一个优化的体验,以无服务器的方式探索他们的数据宇宙。相应的引擎,如 Spark 和Flink 的 "超能力 "不再是必要的。

在任何地方以任何规模运行:所有的预编程引擎都有分布式后端,可以在单节点机器上或跨集群安排任务。

高性能:最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。


Kyuubi 企业应用
Kyuubi 目前已被全球数百家企业采用,涉及多个行业,如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和ACG,等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。


使用场景
  • 交互式分析:利用Kyuubi可以构建企业级分析平台,用于对大数据进行交互式可视化分析,支持常见的计算框架。Kyuubi支持JDBC和ODBC接口,您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例,以更好的实现计算资源共享和快速响应,并行处理大量数据的查询并快速返回结果。
  • 批数据处理:Kyuubi提供了SQL接口用于常见的批处理,通常是大型提取、转换、加载(ETL)过程。Kyuubi及其引擎都是存储独立的,支持众多的数据源,并且Kyuubi支持在连接级别隔离后台引擎实例,以便实现更好的计算资源隔离并提升稳定性。

Kyuubi和Livy以及Spark ThriftServer对比
对比项
Kyuubi
Livy
Spark ThriftServer
支持接口
SQL、ScalaSQL、Scala、Python and R
SQL
支持引擎
Spark、Flink、TrinoSpark
Spark
Spark版本
Spark 3.xSpark 2.x & Spark 3.x
Spark组件自带
协议支持
Thrift + JDBCHTTP,Thrift + JDBC
Thrift + JDBC
客户端
Kyuubi BeelineHTTP Client
Spark Beeline
高可用
支持支持
不支持
资源隔离
支持支持
不支持
LDAP认证
支持支持
支持
阿里云EMR版本
  • EMR-3.42.0及后续版本
  • EMR-5.8.0后续版本
  • EMR-3.40.0及之前版本
  • EMR-5.6.0及之前版本
所有版本


路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条