• SpringCloud 应用在 Kubernetes 上的最佳实践 — 线上发布(可灰度)

    作者 | 白寂  阿里云开发工程师导读:前三篇文章我们介绍了应用的开发和部署,那么在应用成功上云后,我就要面对应用的管理话题了,这一篇我们来看看如何做线上发布,并且是可灰度的。相关文章推荐:《SpringCloud 应用在 Kubernetes 上的最佳实践 —— 开发篇》《SpringCloud 应用在 Kubernetes 上的最佳实践 — 部署篇(开发部署)》《SpringCloud 应用在 Kubernetes 上的最佳实践 — 部署篇(工具部署)》前言在新版本上线时,无论是从产品稳定性还是用户对新...
  • Spark-StructuredStreaming checkpointLocation分析、优化耗时

    1 问题描述Spark StructuredStreaming 任务 kafka -> elasticsearch、kafka -> hdfs 任务运行过程中每隔固定时间后某个出现耗时较长。2 分析 checkpointLocation 配置2.1 checkpointLocation 在源码调用链分析源码查看 StructuredStreaming 启动流程发现,DataStreamWriter#start 方法启动一个 StreamingQuery。同时将 checkpointLocation配置参数传递给StreamingQuery管理。StreamingQuery 接口实现关系如下:StreamingQueryWrapper 仅包装了一个不可序列化的StreamExecutionStreamExecution 管理Spark SQL查询的执行器MicroBatchExecution 微批处理执行器ContinuousExecution 连续处理(流式)执行器因此我们仅需要分析 checkpointLocation 在 StreamExecution中调用即可。checkpointLocation 文件内容均使用 MetadataLog进行维护。原文链接:https://blog.csdn.net/xiaohulunb/article/details/1031855893 分析 checkpointLocation 目录内容目前 checkpointLocation 内容主要包含以下几个目录offsetscommitsmetadatasourcessinks3.1 offsets 目录记录每个批次中的偏移量。
公告

《从零开始开发BBS》课程上线啦,快来跟着我一步步搭建属于你的BBS吧。

课程地址:https://www.shiyanlou.com/courses/1436
9折优惠邀请码: ZHwfIjb1

该课程会带领大家一步步的了解并熟悉Go语言开发,如果你是一个Go语言初学者,或者正准备学习Go语言,那么这个课程非常适合你。如果你熟练掌握了本课程中的知识点,相信你就已经入门Go语言开发,并能胜任日常的开发工作了。