首页

主题

Cassandra的数据写入流程 ​

Apache Cassandra 是一个分布式 NoSQL 数据库系统，设计用于处理大规模数据，并在多数据中心提供高可用性和无单点故障。Cassandra 的数据写入流程相对复杂，主要涉及以下几个步骤：

  1. 客户端发送写请求：应用程序通过 CQL（Cassandra 查询语言）或二进制协议向 Cassandra 节点发送写入请求。

  2. 路由和一致性选择：请求首先到达一个随机的 Cassandra 节点，这个节点被称为协调器（Coordinator）。协调器负责将请求路由到实际负责数据存储的节点，这些节点称为参与者（Participants）。Cassandra 使用一致性哈希算法来确定数据应该存储在哪些节点上。此外，写操作的一致性级别可以在请求时指定，这决定了需要多少个副本节点确认写操作才能成功。

  3. 写入 Memtable 和 CommitLog：

    • CommitLog：写操作首先被记录在 CommitLog 中，这是一个磁盘上的日志文件，用于确保数据在发生崩溃时能够恢复。
    • Memtable：同时，数据也被写入内存中的 Memtable。Memtable 是一个基于 SSTable 的数据结构，用于存储尚未持久化的数据。

  4. 持久化到 SSTable：当 Memtable 达到一定大小时，它会被 flush 到磁盘上的 SSTable 文件中。SSTable 是一种排序的、不可变的数据文件，它包含了已提交的数据。

  5. 数据复制：根据数据分布策略（如 RF（Replication Factor）），数据会同步复制到其他节点上。这一步骤由 Gossip 协议驱动，Gossip 协议是 Cassandra 用来在节点间交换状态信息的协议。

  6. 写操作确认：一旦数据被复制到足够数量的节点上（满足一致性级别要求），协调器会向客户端返回写操作成功的响应。

  7. 垃圾回收：Cassandra 使用一个称为 tombstone 的机制来标记已经删除的数据，但为了保证数据一致性，这些 tombstone 会在一段时间内保留。Cassandra 的垃圾回收机制会定期清理过期的 tombstone 和不再需要的 SSTable 文件。

整个写入过程设计为高并发和容错的，确保了即使在部分节点失败的情况下，数据的写入和读取仍然可以继续进行。