Apache Doris 巨大飞跃:存算分离新架构

1. 存算分离架构的背景

存算分离架构是一种新的数据架构设计范式，其目标是解决数据可以灵活切换、计算和存储解耦合等需求。

• • 1.1 痛点

传统的存算一体架构存在一些问题，例如存储系统的稳定性和可用性会影响整个架构的稳定性，网络延迟对架构性能的影响等。

• • 1.2 存算分离架构的优势

存算分离架构具有以下优势：

• • 性能优异：通过专注于计算和存储的分离，可以充分发挥计算和存储系统各自的优势，提高整体性能。
  • 灵活切换数据源：存算分离架构支持灵活切换数据源，使得数据分析可以更加灵活、高效。
  • 解耦合：存算分离架构将计算和存储解耦合，降低了系统的复杂度，使得系统更加稳定可靠。

2. 存算分离架构的基础要素

• • 2.1 共享存储系统

存算分离架构依赖共享存储系统，该系统的稳定性和可用性对整个架构的稳定性至关重要。同时，存储系统和计算节点之间的网络延迟也会对架构的性能产生影响。

• • 2.2 数据分析层

数据分析层是存算分离架构中的一部分，其主要功能是对数据进行分析和处理，为业务决策提供支持。

• • 2.3 计算层

计算层是存算分离架构中的一部分，其主要功能是进行数据计算和处理，为数据分析层提供计算能力。

• • 2.4 存储层

存储层是存算分离架构中的一部分，其主要功能是提供高可靠、高性能的数据存储服务。

3. 存算分离架构的实现方式

• • 3.1 Ozone架构设计

Ozone是一种新的存储系统架构，相比于传统的HDFS，它采用了存算分离的设计思路，例如将元数据存储进行拆分，可以提供更好的性能和可扩展性。

• • 3.2 多点DMALL 大数据团队的架构设计

多点DMALL 大数据团队结合自身经验和业务需求，设计了一种存算分离、轻量级、可扩展、云中立的大数据集群架构。该架构能够灵活适应不同的业务场景和数据需求。

4. 存算分离架构的挑战与未来发展

• • 4.1 挑战

存算分离架构在实践中也面临一些挑战，例如如何保证稳定性和性能等。

• • 4.2 未来发展

展望未来，存算分离架构有望在性能、稳定性等方面进一步提升。同时，随着存储系统和数据分析层的发展，存算分离架构将变得更加灵活和高效。