• HBase 数据迁移方案介绍
    作者:ballwql链接:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类:图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1 方案介绍Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp(分布式拷...
  • Flink Kafka Connector 与 Exactly Once 剖析
    Flink Kafa Connector 是 Flink 内置的 Kafka 连接器,它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer,除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。下表描述了截止目前为止 Kafka 服务版本与 Flink Connector 之间的对应关系。Flink 官网内容 Apache KafkaConnector 中也有详细的说明。execute 执行后,KafkaConsumer 和 KafkaProducer 就可以开始正常工作了。
  • Redis
    redis 提供了多种数据类型来支持不同的业务场景。除此之外,redis 支持事务 、持久化、LUA脚本、LRU驱动事件、多种集群方案。使用 redis 或 memcached 之类的称为分布式缓存,在多实例的情况下,各实例共用一份缓存数据,缓存具有一致性。缺点是需要保持 redis 或 memcached服务的高可用,整个程序架构上较为复杂。Redis list 的实现为一个双向链表,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销。Redis可以非常方便的实现如共同关注、共同粉丝、共同喜好等功能。redis 设置过期时间Redis中有个设置时间过期的功能,即对存储在 redis 数据库中的值可以设置一个过期时间。
  • Redis持久化
    Redis不同于Memcached的很重一点就是,Redis支持持久化,而且支持两种不同的持久化操作。快照持久化是Redis默认采用的持久化方式,在redis.conf配置文件中默认有此下配置:save 900 1 #在900秒之后,如果至少有1个key发生变化,Redis就会自动触发BGSAVE命令创建快照。另一方面,如果系统恰好在新的快照文件创建完毕之后崩溃,那么Redis将丢失35个键的更新数据。AOF持久化与快照持久化相比,AOF持久化 的实时性更好,因此已成为主流的持久化方案。当硬盘忙于执行写入操作的时候,Redis还会优雅的放慢自己的速度以便适应硬盘的最大写入速度。
公众号