• 数据不撒谎,Flink-Kafka性能压测全记录!
    模拟不同数量级的消息队列的消息写入和消费场景,根据Kafka的处理结果,评估Kafka是否满足处理亿级以上的消息的能力。Kafka消息写入创建的topic命名为test_kafka_throughout,Kafka消费读取的topic也是该topic;使用命令发起消费该topic的请求,针对不同的测试指标,本次我们采用固定其他值,动态变化测量值的方式来进行,具体使用脚本为kafka自带的测试脚本,分别为kafka bin目录下的kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh;通过测试来查看Kafka消费不同数量级别的消息时的处理能力。
  • 基于Flink构建实时数据仓库
    本文是来自2019年Apache Flink Meetup深圳站的资料,作者是OPPO的大数据平台负责人,本文主要讲述了OPPO基于Flink如何构建实时数据仓库。本文从OPPO实时数仓的演进之路,基于Flink SQL的扩展工作,构建实时数仓的应用案例,未来工作的思考和展望4个方面介绍了OPPO基于Flink构建实时数仓的经验和未来的规划。嘉宾简介:2011年硕士毕业于上海交通大学,曾先后工作于摩根士丹利、腾讯,现为 OPPO 大数据平台研发负责人,主导涵盖“数据接入-数据治理-数据开发-数据应用”全链路的数据中台建设。具有丰富的数据系统研发经验,目前重点关注数仓建设、实时计算、OLAP 查询等方向,Flink 开源社区贡献者。
  • Airbnb | 如何应用Druid实现大数据实时批量分析
    挑战和未来的改进虽然Druid在我们的数据平台架构中为我们提供了很好的服务,但随着我们在公司内部使用Druid的增长,存在新的挑战。段文件是Druid数据的基本存储单元,包含准备服务的预聚合数据。结论Druid是一个专为可扩展性,可维护性和性能而设计的大数据分析引擎。其良好的因素架构可轻松管理和扩展Druid部署,其优化的存储格式可实现低延迟分析查询。目前,国外如Google、Facebook、Airbnb、Instgram、Amazon、Pinterest等,国内如阿里巴巴、小米、360、优酷、知乎、数极客等知名互联网公司都在使用Druid,发展势头如火如荼。相信在不久的将来,Druid将成为最重要的OLAP实时分析引擎之一!
  • 程序员的幽默你不懂
    程序员这个群体很幽默如果和程序员们接触久了,你们可能就会感觉他们是一群逗比熟悉的人们之间,他们真的可以很逗,玩笑,自嘲,张口即来固有的,陈旧的,老的印象已经不符合现代程序员的特点了程序员干的工作很'枯燥',他们需要段子来消遣,他们也很幽默,很风趣的作为高智商、高收入、高压力群体经常会有各种逗乐,而且还天生携带段子手基因但生活中的他们大都高学历高智商并且帅气可爱那么关于程序猿的幽默你又懂得多少呢?< END >漫画作者:程序员幽默公众号:暴走大数据
  • 一个细节 | Java中asList的缺陷
    今天在项目中的一段代码用了asList方法,出现了问题。作者于是仔细查看了asList的源码,在实际项目中避免出现错误的使用方式。先看如下程序: public static void main { int[] ints = {1,2,3,4,5}; List list = Arrays.asList; System.out.println; } ------------------------------------ outPut: list'size:1程序的运行结果并没有像我们预期的那样是 5 而是逆天的 1,这是什么情况?既然例子是将整个 int 类型的数组当做泛型参数,那么经过 asList 转换就只有一个 int 的列表了。
  • Druid实时OLAP数据分析存储系统极简入门
    简介Druid 是一个开源的,分布式的,列存储的,适用于实时数据分析的存储系统,能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。Druid在设计时充分考虑到了高可用性,各种节点挂掉都不会使得druid停止工作(但是状态会无法更新);Druid中的各个组成部分之间耦合性低,如果不需要实时数据完全可以忽略实时节点;Druid使用Bitmap indexing加速列存储的查询速度,并使用CONCISE算法来对bitmap indexing进行压缩,使得生成的segments比原始文本文件小很多;架构整体架构...
个人资料

Java和大数据领域开发,干货,面试,资料下载,源码解读等