ByteHouse是火山引擎自主研发的云原生数据仓库产品,在开源ClickHouse引擎之上做了技术架构重构,实现了云原生环境的部署和运维管理、存储计算分离、多租户管理等功能。在可扩展性、稳定性、可运维性、性能以及资源利用率方面都有巨大的提升。
截至2022年2月,ByteHouse在字节跳动内部部署规模超过1万8000台,单集群超过2400台。经过内部数百个应用场景和数万用户锤炼,并在多个外部企业客户中得到推广应用。
1.1产品特性
ByteHouse以提供高性能、高资源利用率、高稳定性、低运维成本为目标,进行了优化设计和工程实现,产品特性和优势如下:
1.存储计算分离:解决了全局元数据管理,过多小文件存储性能差等等技术难题。在最小化性能损耗的情况下,实现存储层与计算层的分离,独立扩缩容。
2.新一代MPP架构:结合Shared-nothing的计算层以及Shared-everything的存储层,有效避免了传统MPP架构中的Re-sharding问题,同时保MPP并行处理能力。
3.数据一致性与事务支持。
4.计算资源隔离,读写分离:通过计算组(VW)概念,对宿主机硬件资源进行灵活切割分配,按需扩缩容。资源有效隔离,读写分开资源管理,任务之间互不影响,杜绝了大查询打满所有资源拖垮集群的现象。
5.ANSI-SQL:SQL兼容性全面提升,支持ANSI-SQL2011标准TPC-D测试集100%通过率。
6.UDF:支持PythonUDF/UDAF创建与管理,补足函数的可扩展性。(JavaUDF/UDAF已在开发中)
7.自研优化器:自研Cost-BasedOptimizer,优化多表JOIN等复杂查询性能,性能提升若干倍。
产品能力上,在引擎外提供更加丰富的企业级功能和可视化管理界面:
1.库表资产管理:控制台建库建表,管理元信息。
2.多租户管理:支持多租户模型,租户间互相隔离,独立计费。
RBAC权限管理:支持库、表、列级,读、写、资源管理等权限。通过角色进行管理。
3.VW自动启停,弹性扩展:计算资源按需分配,闲时关闭。降低总成本,提高资源使用率。
4.性能诊断:提供QueryHistory和QueryProfiler功能,帮助用户自助地排查慢查询的原因。
想了解该报告详情,可通过下方扫码关注后
回复“火山引擎”
获取报告下载链接
想了解更多考试相关
扫码添加上智启元官方客服微信👇