Doris架构中包含哪些技术?

Doris主要整合了Google Mesa(数据模型),Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。

为什么要将这三种技术整合?

Mesa可以满足我们许多存储需求的需求,但是Mesa本身不提供SQL查询引擎。

Impala是一个非常好的MPP SQL查询引擎,但是缺少完美的分布式存储引擎。

自研列式存储:存储层对存储数据的管理通过storage_root_path路径进行配置,路径可以是多个。存储目录下一层按照分桶进行组织,分桶目录下存放具体的tablet,按照tablet_id命名子目录。因此选择了这三种技术的组合。

Doris架构中包含哪些技术?

Doris的系统架构如下,Doris主要分为FE和BE两个组件。

整体架构

Doris的架构很简洁,使用MySQL协议,用户可以使用任何MySQL ODBC/JDBC和MySQL客户端直接访问Doris,只设FE(Frontend)、BE(Backend)两种角色、两个进程,不依赖于外部组件,方便部署和运维。

FE:Frontend,即Doris的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。

BE:Backend,即Doris的后端节点。主要负责数据存储与管理、查询计划执行等工作。

FE,BE都可线性扩展FE主要有两个角色,一个是follower,另一个是observer。多个follower组成选举组,会选出一个master,master是follower的一个特例,Master跟follower,主要是用来达到元数据的高可用,保证单节点宕机的情况下,元数据能够实时地在线恢复,而不影响整个服务。

Observer节点仅从leader节点进行元数据同步,不参与选举。可以横向扩展以提供元数据的读服务的扩展性。

数据的可靠性由BE保证,BE会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

Doris架构中包含哪些技术?

元数据结构

Doris采用==Paxos协议以及Memory+ Checkpoint + Journal的机制==来确保元数据的高性能及高可靠。元数据的每次更新,都会遵照以下几步:

(1)写入到磁盘的日志文件中

(2)再写到内存中

(3)定期checkpoint到本地磁盘上

相当于是一个纯内存的一个结构,也就是说所有的元数据都会缓存在内存之中,从而保证FE在宕机后能够快速恢复元数据,而且不丢失元数据。

Leader、follower和observer它们三个构成一个可靠的服务,如果发生节点宕机的情况,一般是部署一个leader两个follower,目前来说基本上也是这么部署的。就是说三个节点去达到一个高可用服务。单机的节点故障的时候其实基本上三个就够了,因为FE节点毕竟它只存了一份元数据,它的压力不大,所以如果FE太多的时候它会去消耗机器资源,所以多数情况下三个就足够了,可以达到一个很高可用的元数据服务。

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/367101.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
黑马程序员黑马程序员订阅用户
上一篇 2023年8月30日
下一篇 2023年8月30日

相关推荐

  • 云桌面是甚么怎样连接服务器云桌面的主流架构包括甚么。

    云桌面的主流架构包括 VDI (Virtual Desktop Infrastructure)、VDC (Virtual Desktop Cloud) 和 DaaS (Desktop as a Service)。 云桌面是一种基于云计算技术的远程桌面服务,它可以让用户通过互联网访问远程计算机…

    2024年7月9日
    00
  • 我来教你显卡的流处理单元有什么用。

    显卡的流处理单元(Streaming Processor,简称SP)是图形处理器(GPU)中的一个重要组件,它负责执行各种并行计算任务,包括图形渲染、视频编码和解码、以及各种通用计算任务,流处理单元的设计和数量直接影响了显…

    2024年6月14日
    00
  • 我来分享网站架构SEO优化方案技巧。

    搜索引擎优化工作分为站内,站外,我们都知道站内也好,站外也好如果做不好,seo的工作将无法进行下去。我们知道搜索引擎是软件程序,既有长处也有短处。做为SEO,运营整个网站必须要调整整个网站的精简架构,让搜…

    2023年6月22日
    00
  • 我来教你显卡后面的数字代表什么。

    显卡后面的数字通常代表了显卡型号和性能等级,它是显卡制造商为了区分不同产品而设定的编号,这些数字可以给消费者提供关于显卡性能、定位以及与其他型号比较时的直观信息,下面我们将详细探讨显卡型号数字的含义…

    2024年6月11日
    00
  • 我来分享seo网站建设如何搭建个性化网站。

    企业现在都紧跟互联网推广的发展趋势,大家都想做好营销推广,所以,大多数中小企业在职业生涯的早期阶段会选择寻找代理运营公司进行网络推广,特别是网站建设的内容,那么,seo网站建设如何搭建个性化网站?网站建…

    2023年3月15日
    017
  • 我来说说gtx 1650和gtx1060有什么区别。

    NVIDIA的GTX 1650和GTX 1060是两款定位不同市场的图形处理器(GPU),它们在性能、价格以及目标用户群体方面存在明显的差异,以下是这两款GPU的详细对比: 架构和技术 GTX 1650基于图灵架构,而GTX 1060则是基于帕…

    2024年6月12日
    00
  • 企业网站制作应当选php还是Java。

    很多的人咨询企业网站制作应当选php还是Java?下面就由小编为大家介绍一下。 网站建设中php和Java的区别: 第一、系统安全性 php开发的程序:别人拿到代码后,很容易被修改; Java开发的程序:只能看到一些编译好的类…

    2022年10月30日
    013
  • PHP中的微服务架构。

    随着互联网的发展和技术的进步,传统的架构模式面临着更多的挑战和需求。其中,微服务架构作为一种新的设计思路,在现代化互联网架构中占据了越来越重要的地位。微服务架构是一种以轻量级、模块化单元为基础的服务…

    2023年5月30日
    04

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息