ByConity 简介
什么是 ByConity
ByConity 是新一代的开源的云原生数据仓库,它采用计算-存储分离的架构,在满足数仓用户对资源弹性扩缩容,读写分离,资源隔离,数据强一致性等多种需求的同时,并提供优异的查询、写入性能。ByConity 使用大量成熟 OLAP 技术,例如列存引擎,MPP 执行,智能查询优化,向量化执行,Codegen, indexing,数据压缩等。
ByConity 名字由来
ByConity 是由三个单词组成,即:Byte + Convert + Community。其中 By 来自 byte 代表存储数据的基本单位,比喻海量的数据; Con 来自 convert,代表改变和革新; Conity 也来自 community,代表一群人,也就是我们的开源开发者社区。寓意 ByConity 是: 希望汇聚一群尝试打破常规技术的开发者,一起来改变使用数据的方式。
适用场景
ByConity 可以满足企业用户的多种用户场景,例如交互式查询、实时数据看板和实时数据仓库。
- 交互式查询:这类场景下包括用户自定义查询、自助式报表、用户画像分析、营销效果分析和行为日志分析等应用场景。这些应用均支持自由维度和多表关联查询分析,并具有较快的响应速度。行为日志分析还支持数据量较大的日志探索分析。
- 实时数据看板:适用实时业务监控大屏、直播数据统计看板、业务仪表盘和系统链路监控等应用场景。所有应用均强调实时特性,部分支持统计功能。
- 实时数据仓库:包括实时数据接入和准实时 ETL 计算,强调实时数据写入和数据立即可见,同时支持复杂计算和数据清洗。
- ELT 负载: 用户可以使用 bsp 模式进行批处理作业。作业将分阶段执行,并使用基于磁盘的 shuffle 操作交换数据。在此模式下,失败的 task 会自动被重试,增强任务的稳定性。更多细节请参考ELT 能力介绍.