火山引擎:2024云原生数据仓库ByteHouse技术白皮书V1.017认证网

正规官方授权
更专业・更权威

火山引擎:2024云原生数据仓库ByteHouse技术白皮书V1.0

ByteHouse是火山引擎自主研发的云原生数据仓库产品,在开源ClickHouse引擎之上做了技术架构重构,实现了云原生环境的部署和运维管理、存储计算分离、多租户管理等功能。在可扩展性、稳定性、可运维性、性能以及资源利用率方面都有巨大的提升。

截至2022年2月,ByteHouse在字节跳动内部部署规模超过1万8000台,单集群超过2400台。经过内部数百个应用场景和数万用户锤炼,并在多个外部企业客户中得到推广应用。

1.1产品特性

ByteHouse以提供高性能、高资源利用率、高稳定性、低运维成本为目标,进行了优化设计和工程实现,产品特性和优势如下:

1.存储计算分离:解决了全局元数据管理,过多小文件存储性能差等等技术难题。在最小化性能损耗的情况下,实现存储层与计算层的分离,独立扩缩容。

2.新一代MPP架构:结合Shared-nothing的计算层以及Shared-everything的存储层,有效避免了传统MPP架构中的Re-sharding问题,同时保MPP并行处理能力。

3.数据一致性与事务支持。

4.计算资源隔离,读写分离:通过计算组(VW)概念,对宿主机硬件资源进行灵活切割分配,按需扩缩容。资源有效隔离,读写分开资源管理,任务之间互不影响,杜绝了大查询打满所有资源拖垮集群的现象。

5.ANSI-SQL:SQL兼容性全面提升,支持ANSI-SQL2011标准TPC-D测试集100%通过率。

6.UDF:支持PythonUDF/UDAF创建与管理,补足函数的可扩展性。(JavaUDF/UDAF已在开发中)

7.自研优化器:自研Cost-BasedOptimizer,优化多表JOIN等复杂查询性能,性能提升若干倍。

产品能力上,在引擎外提供更加丰富的企业级功能和可视化管理界面:

1.库表资产管理:控制台建库建表,管理元信息。

2.多租户管理:支持多租户模型,租户间互相隔离,独立计费。

RBAC权限管理:支持库、表、列级,读、写、资源管理等权限。通过角色进行管理。

3.VW自动启停,弹性扩展:计算资源按需分配,闲时关闭。降低总成本,提高资源使用率。

4.性能诊断:提供QueryHistory和QueryProfiler功能,帮助用户自助地排查慢查询的原因

想了解该报告详情,可通过下方扫码关注

回复“火山引擎

获取报告下载链接

 

想了解更多考试相关

扫码添加上智启元官方客服微信👇

未经允许不得转载:17认证网 » 火山引擎:2024云原生数据仓库ByteHouse技术白皮书V1.0
分享到:0

评论已关闭。

400-663-6632
咨询老师
咨询老师
咨询老师