• 运维日志里隐藏的安全危机,你知道怎么挖吗?听听专家怎么说

    关联分析可以认为是这类产品中最核心的能力之一。在规则设定的时间窗口内,平台会将多条成功匹配规则的安全事件进行关联,并按规则设定进行告警。关联规则主要模拟攻击者的攻击行为,将平台采集的范式化后的日志,通过有效的字段组合,进行规则模型匹配分析。基于规则的关联分析,主要针对于已知安全事件的分析,还要基于企业实际网络结构、业务场景进行调整,满足企业实际环境的需求。
  • Python|索引,切片,连接和转换操作[6]

    索引,切片,连接和转换操作续torch.narrow → Tensor根据指定的维度,维度的start和长度,返回一个新的张量。参数inputdimstart:开始的维度length:到结束维度的距离例子>>> x = torch.tensor>>> torch.narrowtensor>>> torch.narrowtensortorch.reshape -> Tensor改变张量的形状,如果可以,会返回一个input的view。否则,会复制一份,
  • 如何实现32.5万笔/秒的交易峰值?阿里交易系统TMF2.0技术揭秘

    总体介绍2017年双11,交易峰值达到了32.5万笔/秒,这给整个交易系统带来了非常大的挑战。平台能力缺少透出,技术方案评估花费时间长。需求发布上线后,随着时间的推移,人员的更换。就没有人知道这个需求当时是如何实现的?针对业务叠加的处理,各系统基本上还是基于SPI扩展机制,这些SPI缺少按照业务维度进行组织与隔离。在共享的各个平台中,提供给业务方可扩展的SPI多达几百个。不仅如此,本业务注册的SPI都正确了,还需要其他的业务注册的SPI也都是正确的,这最终导致了业务与业务之间高度耦合。
  • 想读懂YOLOV4,你需要先了解下列技术(二)

    可以看出其归一化是在指定输入shape情况下的归一化,和batch无关。由于其计算均值和方差和batch没有关系,故也不需要强制开启eval模式。要解决batch依赖问题,则不能对batch维度进行归一化。 TLU由于在FRN操作中没有减去均值,会导致“归一化”后的特征值不是关于零对称,可能会以任意的方式偏移零值。如果使用ReLU作为激活函数的话,会引起误差,产生很多零值,性能下降。但如果FC层后接FRN层,性能不会下降,反而会有上升。
  • 百度重磅开源!这款高效率 AI 开发者工具,我爱了...

    为了让广大开发者可以方便快捷的将图像分割技术应用到自己的业务中,飞桨开发了一整套图像分割模型库,这就是我们接下来要介绍的 PaddleSeg。为了不断追求卓越,此次随着飞桨开源框架升级到 1.7 版本,PaddleSeg 再度重磅出击。如下表所示,基于 Cityscapes 数据验证集进行测评,HRNet 的分割精度最高。
  • 有赞数据仓库实践之路

    尽管没有用 Informatica 这类商业化的 ETL 工具,但是调度 scheduler 和监控 monitor 的能力却是数据仓库任务必不可少的。于是,在2016年的最后一个季度,有赞开始了基于 airflow 二次开发的数据平台建设,随之也开启了数据仓库的规范之路。数据仓库规范首先要考虑的是分层问题以及随之而来的主题域划分。有赞的 ODS 落地层解决了两个问题:1)导表的冲突,2)落后的数据仓库中间层建设和日益增长的业务需求之间的矛盾。权限的实现可以参考有赞大数据平台安全建设实践。
  • 无处不在的流计算到底是什么?终于有人讲明白了

    02 流计算解决了什么问题?总的来说,我们使用流计算主要是为了计算以下几类问题。这种同时在线更新和预测的做法,在流计算应用中也越来越常见。03 流数据状态和流信息状态在流计算系统中,“状态”是非常重要的方面。同时在后续的流数据处理过程中,这些信息还会被不断地访问和更新。我们将这些分析所得并保存下来的数据称为“流信息状态”。可以说是从两个不同的维度对“流”进行的管理。“流信息状态”弥补了“流数据状态”只是对事件在时间序列上做管理的不足,将流的状态扩展到了任意的空间。
  • 场景化时代,金融移动互联网用户的运营该怎么做?

    各个行业正在向数字化、智能化、场景化转型,金融企业走在了各行业的前列。举个例子,某金融机构移动APP用户生命周期价值分层:市场用户新增用户留存用户价值用户高价值用户鲸鱼用户用户生命周期价值分层是以用户生命周期为分层转化漏斗,将每个阶段的用户价值往下一阶段的用户价值转化引导,而每一层转化场景、分析维度、评估指标都是不同,需要制定差异化的运营手段分析每层转化,对不同阶段采取不同的策略,最终提升用户各个阶段的价值。
  • 业务稳定性守门员:有赞业务对账平台的探索与实践

    离线业务数据比对,实现业务数据海量回归,全方位核对,降低不一致数据的出现概率。针对业务快速迭代开发,实现灵活调整对账业务逻辑以及对账相关的配置。业务逻辑脚本质量由接入业务方进行保证,业务对账平台提供Mock测试工具,支持业务方构造参数来测试对账流程准确性。对账方式加载业务源数据,进行Grovvy脚本逻辑比对,必然会出现左右方业务数据进行核对,对账方式也会出现两种:单向对账:以左方数据作为基准数据,另一方数据作为待比对数据,进行业务逻辑核对,得出不一致结果。
  • 马蜂窝数据仓库设计与实践

    Part.1马蜂窝数据仓库与数据中台最近几年,数据中台概念的热度一直不减。作为中台的另一大核心部分,马蜂窝数据仓库主要承担数据统一化建设的工作,包括统一数据模型,统一指标体系等。下面介绍马蜂窝在数据仓库建设方面的具体实践。在此背景下,马蜂窝数据仓库采取了「以需求驱动为主、数据驱动为辅」的混合模型设计方式,来根据不同的数据层次选择模型。
  • Kylin在用户行为轨迹分析中的应用实践与优化

    转载自公众号:同程艺龙技术中心作者:季杰一、kylin简介 2015年12月8日,Apache Kylin 从 Apache 孵化器项目毕业,正式升级为顶级项目,也是第一个由中国团队完整贡献到 Apache 的顶级项目。2017年升级kylin到2.0.0版本,2019年升级kylin到2.6.4版本。在轨迹模型中,我们需要统计uv,因此需要将用户id声明为全局字典。而查询则根据查询条件命中的维度数,找到对应的cuboid,然后将cuboid中对应hbase中的行,scan到kylin的内存,计算出结果进行返回。例如,有15个维度,Kylin就会计算2的15次方即32768个cuboid,实际上查询可能用到的cuboid不到1000个,甚至更少。当然轨迹模型中并不存在该维度的优化。
  • 动态分配多维度数组

    我已经看到,我可以使用变量作为由“ new”关键字分配的一维数组的尺寸的规范。我正在阅读的书解释说,可以将其扩展到两个或多个维度,但是有一个限制,只能由变量指定最左侧的维度。所有其他维必须是常量或常量表达式。所以我可以这样写: int max = 0; // Number set by user at execution long* pBigArray = 0; // Pointer to big array pBigArray = new lon...
  • 救命

    嗨朋友 我只是想在Oracle Warehouse Builder上获得一些帮助(如果有人使用过)。 我在DW中设计了一个维度,该维度实际上基于源数据库中的3个以上的表,现在我想将这3个表映射到该维度。但是我遇到了一些问题(因为我只能映射2个表) 可以请任何人帮帮我!
  • 【译】Apache Spark 数据建模之时间维度(二)

    Apache Spark作为新一代的数仓技术的代表,我们能够在 Spark 中使用早期的数据建模技术。这使得Spark data pineline 更加有效。在本系列文章中,我将讨论spark中不同的数据建模。将发行日期添加到股票数据下面的代码向股票数据添加了一个名为issue_date的日期列,以模拟多个日期的场景。val appleStockDfWithIssueDate = appleStockDf. withColumn现在,如果用户希望根据表示交易日期的日期列和表示给定股票何时发行的发布日期列进行分析,那么我们需要使用多个日期维。val issueDateSchema = StructTypeval issueDf = sparkSession.createDataFrame在上面的代码中,我们创建了一个名为issueDf的新df,它为所有列添加了一个名为issue的前缀,表示将这个日期维度组合为issue_date。
  • 腾讯数据总监教学:仅用 5 步,即可从 0-1 构建大数据知识体系!

    基于采集回来的多维度数据,采用ETL对其各类数据进行结构化处理及加载数据补缺:对空数据、缺失数据进行数据补缺操作,无法处理的做标记。大数据系统在深度自学习外,未来将通过逐步开放合作理念,对接外部第三方平台,扩展客户数据范围和行为触点,尽可能覆盖用户线上线下全生命周期行为轨迹,掌握用户各行为触点数据,扩大客户数据集市和事件库,才能深层次挖掘客户全方位需求,结合机器自学习功能,从根本上提升产品销售能力和客户全方位体验感知。我花 10 个小时,写出了小白也能看懂的阿里数据中台分析!
  • 【译】Apache Spark 数据建模之时间维度(一)

    在过去几十年中,数据建模技术也一直是SQL数据仓库的基础。Apache Spark作为新一代的数仓技术的代表,我们能够在 Spark 中使用早期的数据建模技术。这使得Spark data pineline 更加有效。使用内置的Spark进行数据分析本节讨论如何使用内置的spark日期函数进行数据分析。appleStockDf.groupBy. avg. sort .show()使用Spark日期函数进行数据分析的挑战尽管我们可以使用spark builtin数据函数来完成上面的分析,但是编写它们是很困难的。
公告

《从零开始开发BBS》课程上线啦,快来跟着我一步步搭建属于你的BBS吧。

课程地址:https://www.shiyanlou.com/courses/1436
9折优惠邀请码: ZHwfIjb1

该课程会带领大家一步步的了解并熟悉Go语言开发,如果你是一个Go语言初学者,或者正准备学习Go语言,那么这个课程非常适合你。如果你熟练掌握了本课程中的知识点,相信你就已经入门Go语言开发,并能胜任日常的开发工作了。