• 开发者的悲观性思维
    做开发者时间长了对于事物的看法总是跟别人不一样的。很多其他行业的朋友对开发者的思维非常的不理解。总是觉得开发者想的太多。或者说我认为这就开始开发者的思维训练。例如地震、火灾、铲车、挖掘机...作为开发者来说,确实需要进行此类灾难发生时的保障性机制。所以开发者在开发代码的时候要注意各种防攻击:SQL注入、XSS、CSRF等这类攻击都需要进行防止。可能非开发者根本没有遇到过电脑被攻击。例如技术调研阶段、技术开发阶段都会想的很多。
  • 使用Docker启动Grafana环境
    使用Docker对于某些环境的测试调研是非常的方便的。例如现在需要安装一个Grafana来尝试连接MySql数据库进行可视化数据的展现。那么现在直接使用Docker启动一个Grafana的进程吧。查找下载grafana镜像docker search grafana选择第一个grafana/grafanadocker pull grafana/grafana现在镜像已经下载到了本地,查看本地的镜像docker images现在就可以直接启动grafana容器了。由于grafana使用的是3000端口,那么就需要把grafana的3000端口映射到宿主机。docker run -d -p 3000:3000 grafana/grafana启动成功,进入本机浏览器访问 http://localhost:3000使用admin/admin进入系统,重新设置密码即可使用!所以,如果使用Docker的话,我们可以实现快速下载容器,快速运行程序然后直接进行调研阶段。
  • Grafana异常告警配置很简单(1)
    Grafana提供的告警功能使之从一个数据可视化工具成为一个真正的监控利器。Grafana通过Alerting的配置把数据中的异常信息进行告警。Grafana的Dashboard同时也会把出现异常的图表进行通知性展示。Grafana Alerting渠道Grafana Alerting支持多种告警渠道,但是作为一款海外的软件其本身支持的告警渠道很多都是适合国内使用的。Email告警Email告警是最为常见的告警,通过Grafana进行Email告警需要在Grafana的宿主机上开启25端口,并且修改Grafana的配置文件。再次进入Alerting选择Type为钉钉。webhock的通知内容交由用户自己进行控制。当前即可设置成功一个告警通知的规则。如果触发告警,则会发送通知到所设置的Send to列表中。
  • 爬虫开发者职业生涯的终止!
    几年前做过一段时间的爬虫开发,这是跟老板的一段对话。企业信息数据的来源同样依赖于爬虫,获取围绕企业相关的数据采集。而本人也从一个爬虫开发进而成为一个大数据工程师。为了规范爬虫的采集,行业内通过robots协议来规范爬虫的采集。但是当前的爬虫技术很少会有人提及robots协议,本人面试过的几十家公司均没有提及过robots协议是否了解。爬虫在正常的使用中如果遵守robots协议并且对对方服务器没有造成破坏的话。robots协议能够规定哪些爬虫可以获取网站数据,获取哪些网站的那些页面所以如果遵守robots协议的话,爬虫甚至能够受到网站所有者的欢迎。
  • Apache Flink并行度设置详解(Parallel Execution)
    在使用Apache Flink对数据进行处理时候,通常需要设置并行度。Apache Flink程序包含多个任务。我们可以通过命令查看Flink配置文件的并行度。$ cat flink-conf.yaml |grep "parallelism.default"parallelism.default: 1例如当前获取到的并行度为1。val env = Stream...env.setParallelism客户端级别如果在执行Job时候,发现代码中没有设置并行度而又不修改配置文件的话,可以通过Client来设置Job的并行度。Apache Flink的 并行度取决于每个TaskManager上的slot数量而决定的。Flink的JobManager把任务分成子任务提交给slot进行执行。
  • 基于Grafana数据钻取功能构建详细数据展现方案
    Grafana的数据可视化场景,能够实现连接多数据源,所以也就可以实现通过不同的数据源来进行钻取分析。Grafana数据钻取Grafana利用其华丽的外观、丰富的数据源、多样的数据图表、自由的Dashboard组合已经捕获了大量的用户。数据钻取也就是通过某个特征或者条件进行更细层次的数据细分的呈现。Grafana使用数据钻取的功能获取更深层次的数据信息的方式比较简单,我们可以从统计指标先开始。详情的Dashboard添加Variables设置版本号。Variables中的Name即为要传递的参数值。数据钻取的意义数据钻取是改变了数据的维度,转换了分析的粒度。数据钻取包含向上钻取与向下钻取。
  • Apache Flink Table API和SQL API的外部数据源
    “Apache Flink的Table API与SQL API实现对接外部数据源的方式是Table connector直连外部数据源,Tabel connector将外部的数据源读取到Flink中进行计算或者把Apache Flink的结果写入到外部数据源之中。”Apache Flink已经基本实现了对于的数据源的注册于写入的需求,但是仍然不够灵活,用户更加希望的可能是通过配置的方式实现对于不同数据源的选择,并且实现数据的写入。所以Apache Flink又提供了Table connector。withSchema用以指定注册在TableEnvironment中的表结构。inAppendMode指定了数据的更新模式。最终通过registerTableSource方法将本次外部数据源注册到TableEnvironment中,用以进行查询计算。
  • Apache Flink Table API的Catalog
    “ Apache Flink的Table API提供了对数据注册为Table的方式, 实现把数据通过SQL的方式进行计算。Table API与SQL API实现了Apache Flink的批流统一的实现方式。Table API与SQL API的核心概念就是TableEnviroment。TableEnviroment对象提供方法注册数据源与数据表信息。那么数据源与数据表的信息则存储在CataLog中。所以,CataLog是TableEnviroment的重要组成部分。”Apache Flink在获取Tabl...
  • Elastic Stack的日志分析架构
    最终数据发送到ElasticSearch中。Beat采用Go语言编写,在Elastic Stack中主要负责日志的采集工作。Elastic Stack与消息队列集成以上内容可以使用于小型的数据分析处理场景。ElasticSearch是整个系统的核心,但是它在对大量的数据建立索引时会非常容易受到负载的影响。在ElasticSearch非常的忙碌时,Logstash也会受之影响而变慢。总结Elastic Stack增加了Beats来分离了数据的采集与解析端或者说Beats提供了更好的,资源占用率更低的数据采集、简单解析、发送方案。使当前的Elastic Stack更加适用于生产中。
  • Grafana安装与连接Zabbix构建炫酷资源监控Dashboard
    Grafana安装Grfana的安装比较简单方便,基本参照Grafana官方文档就能够完成安装。Grafana有安装版与Cloud版。Grafana连接Zabbix数据源Grafana安装完成通过浏览器访问会有引导页面。发现没有Zabbix的数据源,那么就需要增加Zabbix的插件。进入https://grafana.com/grafana/plugins/alexanderzobnin-zabbix-app/installation查看Zabbix安装说明。在Grafana的宿主机执行即可。grafana-cli plugins install alexanderzobnin-zabbix-app输出以上内容表示安装成功,使用service grafana-server restart进行重启。连接成功后选择 Dashboards 选项卡,插件提供了几个Zabbix Dashboard的template可以直接import进行使用。当前使用Grafana连接Zabbix完成。那么就可以自由的对Zabbix数据进行展现,修改Dashboard集合业务场景对产品+资源进行整合监控。
个人资料

奋斗在数据行业一线的物种,喝咖啡产代码的废物,提数猿