• 马蜂窝实时计算平台演进之路
    MES 是马蜂窝统一实时计算平台,为各条业务线提供稳定、高效的实时数据计算和查询服务。在整体设计方面,MES 借鉴了 Lambda 架构的思想。本篇文章,我们将从四个方面了解 MES:1. 关于 Lambda 架构2.MES 架构和原理3.MES 优化历程4. 近期规划关于 Lambda 架构Lambda 架构是由 Storm 作者 NathanMarz 根据自己在 Twitter 的分布式数据处理系统经验,提出的一个实时大数据处理框架,具有高容错、低延时和可扩展等特性。Lambda 架构核心的思想主要可以...
  • Druid实时OLAP数据分析存储系统极简入门
    简介Druid 是一个开源的,分布式的,列存储的,适用于实时数据分析的存储系统,能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。Druid在设计时充分考虑到了高可用性,各种节点挂掉都不会使得druid停止工作(但是状态会无法更新);Druid中的各个组成部分之间耦合性低,如果不需要实时数据完全可以忽略实时节点;Druid使用Bitmap indexing加速列存储的查询速度,并使用CONCISE算法来对bitmap indexing进行压缩,使得生成的segments比原始文本文件小很多;架构整体架构...
  • Airbnb | 如何应用Druid实现大数据实时批量分析
    挑战和未来的改进虽然Druid在我们的数据平台架构中为我们提供了很好的服务,但随着我们在公司内部使用Druid的增长,存在新的挑战。段文件是Druid数据的基本存储单元,包含准备服务的预聚合数据。结论Druid是一个专为可扩展性,可维护性和性能而设计的大数据分析引擎。其良好的因素架构可轻松管理和扩展Druid部署,其优化的存储格式可实现低延迟分析查询。目前,国外如Google、Facebook、Airbnb、Instgram、Amazon、Pinterest等,国内如阿里巴巴、小米、360、优酷、知乎、数极客等知名互联网公司都在使用Druid,发展势头如火如荼。相信在不久的将来,Druid将成为最重要的OLAP实时分析引擎之一!
官方公众号