中国Cassandra技术社区第一届Meetup：Apache Cassandra 技术揭秘及实践应用
CDC(Change data capture)是 Cassandra 提供的一种用于捕获和归档数据写入操作的机制，这个功能在 3.8 以上版本支持。当对一个表设置了"cdc=true"属性之后，包含有这个表的数据的 CommitLog 在丢弃时会被移动到指定的目录中，用户可以自己编写程序消费（解析并删除）这些日志，实现诸如增量数据导出、备份等功能。本文介绍 CDC 功能的使用并分析其特点。
配置参数
cassandra.yaml 中，如下参数和 CDC 功能有关：
_cdc_enabled (默认: false)
true 表示节点上开启 cdc 功能。
_cdc_raw_directory(默认: $CASSANDRA_HOME/data/cdc_raw)
当一个 Commitlog 文件不再需要保留（相关的改动已经全部从 memtable 持久化到 sstable）时，会把日志文件移动到这个目录下。
_cdc_free_space_in_mb: (默认: min(4096,磁盘空间的 1/8))
当 cdc*raw_directory 目录下的日志和当前正在写入的日志占用空间超过这个值时，会停止开启了 cdc 的表的写入。
_cdc_free_space_check_interval_ms(默认: 250)
计算日志占用空间的周期。
开启表的 CDC
通过如下语句可以在一个表上开启 CDC：
CREATE TABLE foo (a int, b text, PRIMARY KEY(a)) WITH cdc=true;
ALTER TABLE foo WITH cdc=true;
消费日志
CDC 日志的格式和 Commitlog 是一致的，在 Cassandra 中提供了解析 Commitlog 的类 CommitLogReader，借助这个类，我们只需要实现自己的 CommitLogReadHandler 类来处理捕获的写入操作就可以实现对 CDC 日志的消费。下面的示例代码实现了一个简单的功能：解析日志并把日志中的写操作输出到屏幕上。pom 文件中增加如下依赖：
<dependency>
<groupId>org.apache.cassandra</groupId>
<artifactId>cassandra-all</artifactId>
<version>${cassandra.version}</version>
</dependency>
消费日志的代码如下：
DatabaseDescriptor.toolInitialization();
CommitLogReader reader = new CommitLogReader();
CommitLogReadHandler handler = new CommitLogReadHandler() {
@Override public boolean shouldSkipSegmentOnError(CommitLogReadException e)
throws IOException {
return false;
}
@Override public void handleUnrecoverableError(CommitLogReadException e) throws IOException {
}
@Override public void handleMutation(Mutation mutation, int i, int i1,
CommitLogDescriptor commitLogDescriptor) {
for (PartitionUpdate partition : mutation.getPartitionUpdates()) {
System.out.println(partition.toString());
}
}
};
File dir = new File($CDC日志目录);
while (true) {
String[] paths = dir.list();
if( paths.length == 0 ) {
Thread.sleep(1000);
}
for (String path : paths) {
File f = new File(dir, path);
reader.readAllFiles(handler, ArrayUtils.toArray(f));
f.delete();
}
}
运行时需要将 Cassandra 需要的路径加入到 classpath 里面（可以通过在脚本中调用 bin/cassandra.in.sh 实现），或者至少指定-Dcassandra.config和-Dcassandra.storagedir这两个路径作为启动参数。这是因为在解析日志时需要表的 meta 信息。
总结
CDC 功能主要起到两个作用：
能够将增量数据可靠的归档到 CDC 日志目录下面。在 CDC 出现之前，我们只能通过 commitlog_archiving 这样的功能归档增量日志，但是 commitlog_archiving 的机制是调用命令行，在一些异常情况下可能会出现归档失败。而 CDC 则可以保证日志在成功归档到 CDC 日志目录中之前绝对不会被删除。
可以起到反压的作用，避免日志占用过多的磁盘空间。当日志量超过 cdc_free_space_in_mb 的配置后，开启 CDC 的表会拒绝写请求（抛出 WriteTimeoutException）。
一些限制：
通过 CDC 不能实时读取到增量数据。根据我们前面分析的机制，只有一个日志文件写满并且不需要保留时才会移动到 CDC 目录下面。
CDC 日志中不仅包含开启了 cdc 功能的表，如果业务场景只需要某个表的数据，需要自己过滤。
在多副本的情况下，同一个（逻辑上的）写入会在多个节点都写入日志，所以如果业务上要求避免重复，需要自己做去重。
入群邀约
为了营造一个开放的 Cassandra 技术交流，我们建立了微信群公众号和钉钉群，为广大用户提供专业的技术分享及问答，定期开展专家技术直播，欢迎大家加入。另外阿里云提供免费 Cassandra 试用：https://www.aliyun.com/product/cds
钉钉群入群链接：https://c.tb.cn/F3.ZRTY0o
扫码关注
