Aggregation
Notice:
Notice:
Notice:
Notice:
Notice:
发布时间:2023年5月24
发布时间:2023年9月9日
发布时间:2023年12月17日
发布时间:2024年6月1日
Notice:
Notice:
The data types provided in ByConity are adapted from ClickHouse. Visit this page for more information on ClickHouse data types.
Notice:
本教程指导用户使用Docker在本地快速部署ByConity,用户可以依照如下步骤部署一个简单的ByConity集群,进行快速入门体验。如果想全面试用和了解ByConity,建议您跳过该章节,直接参考ByConity集群部署,体验ByConity强大的性能。
背景
Notice:
Notice:
Byconity 除了支持使用外表访问Hive数据意外,也支持通过External Catalog 方式访问。
ByConity provides two SQL dialects, (1) ClickHouse and (2) ANSI.
Notice:
Notice:
Notice:
Notice:
Notice:
Notice:
map
Notice:
Notice:
MACNumToString
Notice:
The supported statements in ByConity are similar to ClickHouse, but it is still recommended to follow the ByConity manual to ensure proper use. Some of the examples below are referenced from ClickHouse Documentation but have been adapted and modified to work in ByConity.
Notice:
随着数据量和数据复杂性的不断增加,越来越多的企业开始使用OLAP(联机分析处理)引擎来处理大规模数据并提供即时分析结果。在选择OLAP引擎时,性能是一个非常重要的因素。因此,本文将使用TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByConity这4个OLAP引擎的性能表现,以便为企业选择合适的OLAP引擎提供参考。
Notice:
Notice:
Notice:
ByConity supports the standard syntax of window functions. A list of window related features are explained below.
事务概览
什么是 ByConity
从HDFS导入
从 Kafka 导入
弹性扩缩容
列式摄取
教程目标:
简介
本文演示了如何在 Kubernetes(简称k8s) 集群中部署 ByConity 集群。
本教程指导用户如何在Docker部署环境下,使用ByConity创建表、导入数据、查询数据等基本操作。
复杂查询执行模型
CnchHive
直接写入方式调优
本教程旨在指导用户了解如何在 ByConity 中将表的数据导出到不同的文件系统或数据库,以及如何导出查询结果。目前ByConity 支持将数据导出到本地文件系统以及 HDFS(Hadoop Distributed FileSystem)。
部署相关
我们的开发人员通过借助VS code中的一个叫做Dev Container的插件来连接到运行在虚拟机上的Debian 11 开发环境。所以我们也建议你用同样的方式来开发,这样能避免很多依赖和兼容的问题。了解更多可参考: official dev set。
ByConity可以容器化、模块化部署,支持弹性的扩缩容,能够实时、按需的对计算资源进行扩缩容,保证资源的高效利用。这里介绍在kubenetes集群上如何做ByConity的扩缩容。
技术架构
ByConity支持对列表的Codec,即压缩和解压缩数据的方法,目的是为了节省存储空间和提高I/O性能。
列存设计原理
数据源
数据缓存(Disk Cache)
RBAC 模型
环境依赖
优化器是数据库系统的核心,优秀的优化器能极大提高查询性能,特别是在复杂查询场景下优化器能带来数倍至数百倍的性能提升。
流式导入数据(本地文件及内存数据)
功能定义
目前在物理机上安装 ByConity 的方式是通过软件包管理器,例如为 Debian OS 安装 Debian 软件包,为 Centos OS 安装 rpm 软件包。
常见的监控指标
从Hive外表导入
通过 MySQL
配置后台任务
全文检索
表引擎即表的类型,决定了数据的组织和存储方式、索引的方式以及索引类型、支持哪些查询以及如何支持和一些其他特定的功能和配置
资源管理器(Resource Manager,简称 RM)组件用于对 ByConity 计算资源进行统一管理和调度,是实现资源弹性和提高资源利用率的核心组件。
文档类型:教程型
简介
软件要求
计算组、Worker 和 Server 的关系
升级基于S3存储的集群(仅适用0.2.0之前的版本)
Server 配置参数
参考管理手册-集群配置参数
ByConity支持在同一集群中部署多个ByConity Server、Resource Manager、以及TSO进程以实现高可用性。原理是通过在共享的FoundationDB中执行“比较并交换”("Compare And Swap" )的操作来确定谁是主。