• Pulsar 与 Kafka 全方位对比(上篇):功能、性能、用例

    🎙️ 阅读本文需要大约需要 12 分钟越来越多的消息平台开始采用实时流技术,这促进了 Pulsar 的使用与发展。在 2020 年,Pulsar 的受关注度与使用量都有了显著增加。从《财富》百强企业到有前瞻性的初创团队,凡是开发消息平台和事件流应用程序的公司都对 Pulsar 保持关注,一直在激励着 Pulsar 的发展,并且,围绕 Pulsar 项目的生态也有了迅猛发展,近期多家媒体也在对此争相报道。最近的新闻和博客文章都在客观地介绍 Pulsar,读者可以清晰地了解 Pulsar 的性能及用例。Veri...
  • 数据的搬运工——ETL

    作者 | 李谦恒数据工程师。逻辑重于代码,高效胜过勤奋。崇尚life work balance。ETL 开发是数据工程师必备的技能之一,在数据仓库、BI 等场景中起到重要的作用。但很多从业者连 ETL 对应的英文是什么都不了解,更不要谈对 ETL 的深入解析,这无疑是非常不称职的。本文将对 ETL 进行简单介绍。如有疑问欢迎共同讨论。ETL 简介ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、**加载(loa...
  • Spring Boot 集成 Redis 实现数据缓存

    Spring Boot 集成 Redis 实现数据缓存,只要添加一些注解方法,就可以动态的去操作缓存了,减少代码的操作。在这个例子中我使用的是 Redis,其实缓存类型还有很多,例如 Ecache、Mamercache、Caffeine  等。Redis 简介Redis 是一个开源,高级的键值存储和一个适用的解决方案,用于构建高性能,可扩展的 Web 应用程序。Redis 相关的知识就不在这里赘述了,感兴趣的可以公众号回复 Redis 看下 Redis 系列文章。下面我们在 Spring Boot 中集成 ...
  • SkyWalking观测Service Mesh技术大公开 | 周末送书

    K8s已经成为一线大厂分布式平台的标配技术。你是不是还在惆怅怎么掌握它?来这里,大型互联网公司一线工程师亲授,不来虚的,直接上手实战,3天时间带你搭建K8s平台,快速学会K8s,点击下方图片可了解培训详情。Service Mesh的监控往往被称为可观测性(Observability),其内涵是要超越传统的监控体系的。它一般包括监控、告警、可视化、分布式追踪与日志分析。可见可观测性是监控的一个超集。监控认为目标系统是一个“黑盒”,通过观察其关键指标来展现系统状态,并报告异常情况。而可观测性在此基础上增加了“问...
  • 当企业服务总线遇到云服务

    转载本文需注明出处:微信公众号EAWorld,违者必究。前言:本文主要介绍企业服务总线的常见应用场景,与大家共同探讨在云环境、微服务中传统企业服务总线所面临的问题,结合普元企业服务总线产品向大家分享我们该如何解决这些问题。目录:1.企业服务总线简介2.传统的ESB应用场景3.云服务对ESB提出的新要求4.普元ESB产品介绍1.企业服务总线简介企业服务总线(ESB)是企业应用集成在SOA理念下的一种实现方式,ESB是SOA架构中实现服务间智能化集成与管理的中介,在逻辑上与SOA所遵循的基本原则保持一致,依据S...
  • 蜂巢学院线上公开课 | AlphaWallet张中南:区块链NFT,非同质权益

    前言本文为万向区块链蜂巢学院线上公开课第21期内容。在本期公开课中,AlphaWallet联合创始人兼CEO张中南分享了区块链NFT相关知识点,包括:通证和权益的关系;区块链NFT的误区;非同质权益通证;区块链NFT在艺术领域的应用等。错过直播的小伙伴,别错过下面这篇干货。蜂巢学院线上公开课每周都会邀请技术专家来进行分享,添加小助手微信号:fengchaoxueyuan,获取每周直播入口和时间。大家好!很高兴受邀来蜂巢学院给大家分享区块链NFT。今天尝试一个全新的分享方式,没有PPT,我画了一个Concep...
  • 如何基于 DDD 构建微服务?

    本文将讨论微服务与 DDD 涉及到的概念、策划和设计方法,并且尝试将一个单体应用拆分成多个基于 DDD 的微服务。微服务的定义微服务中的“微”虽然表示服务的规模,但它并不是使应用程序成为微服务的唯一标准。当团队转向基于微服务的架构时,他们的目标是提高敏捷性,即自主且频繁地部署功能。因此,很难给微服务架构风格下一个简单的定义。我喜欢 Adrian Cockcroft 关于微服务的简短定义:“面向服务的架构由具有界限上下文、松散耦合的元素组成。”尽管这定义了一种高级的设计启发式方法,但微服务架构具有的特性,使其...
  • 周志华教授力作,豆瓣10分好评,集成学习如何破解AI实践难题 | 赠书

    本文内容节选自《集成学习:基础与算法》一书。由南京大学人工智能学院院长周志华教授编著,中文版由其学生李楠博士翻译。回顾机器学习最近30 年的发展历程,各种学习方法推陈出新、不断演进。但是,在此历程中,通过构建并结合多个学习器来完成学习任务的集成学习方法,始终是提升学习效果的重要手段,成为机器学习领域的“常青树”,受到学术界和产业界的广泛关注。集成学习技术已在人工智能实践中被广泛使用,例如,对搜索、推荐、广告的核心任务——点击率预估而言,GBDT (Gradient Boosting Decision Tre...
  • 字节跳动基于Flink的MQ-Hive实时数据集成

    在数据中台建设过程中,一个典型的数据集成场景是将 MQ 的数据导入到 Hive 中,以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层,因此对数据的准确性以及实时性要求比较高。本文主要围绕 MQ-Hive 场景,针对目前字节跳动内已有解决方案的痛点,提出基于 Flink 的实时解决方案,并介绍新方案在字节跳动内部的使用现状。为了实现 MQ-Hive 全链路支持 Exactly-once 语义,还需要 MQ Source、Hive Sink 端支持 Exactly Once 语义。
  • 知识点 | ViewModel 四种集成方式

    ViewModel 甫一发布,便成为了 Jetpack 中的核心组件之一。我们在 2019 年做的一份开发者问卷显示,超过 40% 的 Android 开发者已经在自己的应用中使用了 ViewModel。如果想了解更多,可以参考 ViewModel: 简单介绍视频和官方文档。ViewModel 会帮您处理第二种情况,因为在这种情况下 ViewModel 没有被销毁;而在第三种情况下, ViewModel 被销毁了。所以一旦出现了第三种情况,便需要在 Activity 的 onSaveInstanceState 相关回调中保存和恢复 ViewModel 中的数据。我在 ViewModels: 持久化、onSaveInstanceState()、恢复 UI 状态与加载器一文中更加详细地描述了这两种情况的区别。在免除了与 Activity 繁琐的数据交换后,ViewModel 也真正意义上的做到了管理和持有所有自己的数据。
  • 知识点 | ViewModel 四种集成方式

    ViewModel 甫一发布,便成为了 Jetpack 中的核心组件之一。我们在 2019 年做的一份开发者问卷显示,超过 40% 的 Android 开发者已经在自己的应用中使用了 ViewModel。如果想了解更多,可以参考 ViewModel: 简单介绍视频和官方文档。ViewModel 会帮您处理第二种情况,因为在这种情况下 ViewModel 没有被销毁;而在第三种情况下, ViewModel 被销毁了。所以一旦出现了第三种情况,便需要在 Activity 的 onSaveInstanceState 相关回调中保存和恢复 ViewModel 中的数据。我在 ViewModels: 持久化、onSaveInstanceState()、恢复 UI 状态与加载器一文中更加详细地描述了这两种情况的区别。在免除了与 Activity 繁琐的数据交换后,ViewModel 也真正意义上的做到了管理和持有所有自己的数据。
  • 重磅!Impala 3.4正式集成开源数据湖框架Apache Hudi

    Apache Impala是一个高性能的SQL查询引擎,主要面向SQL on Hadoop中的交互式查询场景。Impala社区在四月底发布了3.4版本。本文主要介绍 3.4 版本带来的新功能以及新的提升,概括起来有这么几个方面:Result Spooling, Column Masking,Apache ORC, Apache Hudi。Impala 3.4 的新功能Result Spooling要解释 Result Spooling 解决的问题,先要介绍下 Impala 的执行机制。Impala 的执行引擎遵从 volcano 模型设计,整个执行计划树流水线式地自上而下抽取数据,数据以batch的形式在operator间传递。当用户获取到第一行数据时,只代表第一个batch的计算完成了。Ranger Integration支持 Ranger Column Masking Policy,包括 resource based 和 tag based 的 policy。Impala 从 3.4 版本开始支持 Column Masking,共享 Hive 的 Ranger policy。
  • 重磅!数据湖框架 Apache Hudi又双叕被国内顶级云服务提供商集成了!

    是的,最近国内云服务提供商腾讯云在其EMR-V2.2.0版本中优先集成了Hudi 0.5.1版本作为其云上的数据湖解决方案对外提供服务。而且在数据仓库如 hive 中,对于 update 的支持非常有限,计算昂贵。在此需求下,Hudi 可以提供这两种需求的实现。且 Hudi 提供了对 Hive、presto、Spark 的支持,可以直接使用这些组件对 Hudi 管理的数据进行查询。Hudi 是一个通用的大数据存储系统,主要特性:摄取和查询引擎之间的快照隔离,包括 Apache Hive、Presto 和 Apache Spark。在每个分区内,文件被组织为 文件组,由 文件id唯一标识。
  • Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

    接下来我将带各位了解下 Flink 与 Hive 生产级别的整合工作。Flink 与 Hive 生产级整合Flink 一直遵循“ 流优先,批是流的一个特例”的思想理念。在这一思想的指导下,Flink 将最先进的流式处理技术运用到批处理中,使得 Flink 的批处理能力一早就令人印象深刻。统一的元数据管理Hive Metastore 已逐渐成为 Hadoop 生态中元数据管理的中枢。一是它允许 Flink 用户将 Flink 本身的元数据,包括表、函数等,存储到 Hive Metastore 中。Flink 1.10 中的新功能是用户可以对接几乎所有版本的 Hive Metastore。Flink 1.10 中与 Hive 在元数据和数据领域生产级别的结合,都能使用户更好地解决实际问题,为业务带来更多价值。
  • 性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成

    本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。所以我们肯定不希望 Hive 的用户迁移 Flink SQL 需要通过定义 TableSouces 和 TableSink 的方式来与 Hive 进行交互。因此我们提供了一套新的 Catalog 接口以一种更接近传统 SQL 的方式与 Hive 进行交互。支持 Hive 的互操作。支持 Flink 作为 Hive 的计算引擎,像 Hive On Spark,Hive On Tez。目前 Module 有两个实现,CoreModule 提供了 Flink 原生的内置函数,HiveModule 提供了 Hive 的内置函数。
  • 最新消息!Cloudera 全球发行版正式集成 Apache Flink

    本文对 Cloudera 官方宣布支持 Apache Flink 的博客进行了翻译,希望有助于大家更深入地了解 Flink 及 Cloudera DataFlow。Cloudera Streaming Analytics的 GA 版提供了对 Apache Flink 的支持,从而增强了整个动态数据平台的流处理和分析能力。有了平台集成,Cloudera Manager 可以用于安装,监视和管理 Flink 集群。而 Apache Flink 则是这批用户的最佳选择。相信Cloudera对ApacheFlink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验。
  • 协助将piwik与我的WebApp集成

    嗨,大家好, 我正在尝试将piwik网站分析图与我的Web应用程序集成。有一种方法可以表示来自Web应用程序中本地托管的piwik的数据,但这需要用户通过其UI登录piwik。我正在考虑将piwik图形数据与我的web应用程序集成在一起,而无需用户通过用户界面登录piwik应用程序,因为这会导致用户方面的双重登录,这确实很糟糕。我想通过自己的Web应用程序登录到piwik Webapp,以便我的客户获得无缝的体验。这可能吗? 让我们继续思考吧! :D 提前致谢! 干杯!
  • 在没有数据适配器的情况下从数据库填充列表框

    我想从sql数据库中填充一个列表框,下面是我遇到的错误代码: Dim con As SqlConnection Dim cmd作为SqlCommand Dim lrd作为SqlDataReader 将dsitemlist设为新数据集 con =新建SqlConnection(“数据源= DHAVAL-PC \ SQLEXPRESS;初始目录=最终;集成安全性= True”) con.Open() 'cmd = New SqlCommand(“从StudentDetails中选择Stud_RollNo”,骗局...
  • 使用生物特征扫描仪

    大家好, 好吧,艰难的一个。我们如何将生物识别扫描仪(例如指纹扫描仪)与我们的软件集成在一起? 我的观察方式是,扫描仪扫描指纹,然后将该数据保存在数据库中,但这是什么数据?什么文件类型?这可能是主要问题。因为一旦有了这些信息,您就可以将扫描结果与数据库中用户先前的扫描结果进行比较...布尔值可能会返回,然后您可以查看扫描结果是否匹配等。 一个从哪里开始?任何人都可以建议的阅读材料吗?我特别想将此功能与Java语言集成在一起。 提前致谢!
  • 在我的网站上集成所见即所得的编辑器

    大家好, 我想整合您所见即所得的网站编辑器。 我知道编辑器可以是我输入的那种编辑器。如何将数据存储在数据库中,以便在从db中检索数据时可以实现相同的功能。 就像如果将粗体文本存储在数据库中一样,显示后将检索粗体文本。 这里最大的麻烦是,当我显示一些数据时,我使用htmlentities()函数来防止HTML黑客入侵。 请为此提出一种经过验证的方法。 感谢您对此的帮助。 谢谢。
公告

《从零开始开发BBS》课程上线啦,快来跟着我一步步搭建属于你的BBS吧。

课程地址:https://www.shiyanlou.com/courses/1436
9折优惠邀请码: ZHwfIjb1

该课程会带领大家一步步的了解并熟悉Go语言开发,如果你是一个Go语言初学者,或者正准备学习Go语言,那么这个课程非常适合你。如果你熟练掌握了本课程中的知识点,相信你就已经入门Go语言开发,并能胜任日常的开发工作了。

如果你在安装部署bbs-go过程中遇到了困难,请不要着急,这里为你准备了一份《bbs-go安装部署帮助》