Apache Eagle 是 eBay 公司推出的分布式实时安全监控引方案,该项目已正式加入 Apache 成为孵化项目。Apache Eagle 提供一套高效分布式的流式策略引擎,具有高实时、可伸缩、易扩展、交互友好等特点,同时集成机器学习对用户行为建立 Profile 以实现实时智能实时地保护 Hadoop 生态系统中大数据的安全。
Eagle 是开源分布式实时 Hadoop 数据安全方案,支持数据行为实时监控,能立即监测出对敏感数据的访问或恶意的操作,并立即采取应对的措施。
Eagle 的数据行为监控方案可用于如下几类典型场景:
监控 Hadoop 中的数据访问流量
检测非法入侵和违反安全规则的行为
检测并防止敏感数据丢失和访问
实现基于策略的实时检测和预警
实现基于用户行为模式的异常数据行为检测
Eagle 具有如下特点:
高实时: 我们充分理解安全监控中高度实时和快速反应的重要性,因此设计Eagle之初,我们竭尽可能地确保能在亚秒级别时间内产生告警,一旦综合多种因素确订为危险操作,立即采取措施阻止非法行为。
可伸缩:在eBay Eagle 被部署在多个大型Hadoop集群上,这些集群拥有数百PB的数据,每天有8亿以上的数据访问时间,因此Eagle必须具有处理海量实时数据的高度可伸缩能力。
简单易用:可用性也是Eagle产品的核心设计原则之一。通过Eagle的Sandbox,使用者仅需数分钟便可以设置好环境并开始尝试。为了使得用户体验尽可能简单,我们内置了许多很好的例子,只需简单地点击几步鼠标,便可以轻松地完成策略地创建和添加。
用户Profile:Eagle 内置提供基于机器学习算法对Hadoop中用户行为习惯建立用户Profile的功能。我们提供多种默认的机器学习算法供你选择用于针对不同HDFS特征集进行建模,通过历史行为模型,Eagle可以实时地检测异常用户行为并产生预警。
开源:Eagle一直根据开源的标准开发,并构建于诸多大数据领域的开源产品之上,因此我们决定以Apache许可证开源Eagle,以回馈社区,同时也期待获得社区的反馈、协作与支持。
一、编译 参考官网: http://eagle.apache.org/docs/quick-start.html 1.1 前置条件 1. Currently eagle is tested on **JDK-1.7.X**, currently (v0.4.0) not supporting JDK 1.8. 2. **NPM** should be installed (On MAC OS
Apache eagle installing 介绍 Apache eagle 目前0.4.0孵化版本已经可用,而新的0.5.0预计在2016年11月份发布。它具备如下几个功能: 监控Hadoop中的数据访问流量 检测非法入侵和违反安全规则的行为 检测并防止敏感数据丢失和访问 实现基于策略的实时检测和预警 实现基于用户行为模式的异常数据行为检测 个人使用下来,主要有如下用处: 监控敏感数据或者目录
源码见:https://github.com/apache/eagle 官方文档见:http://eagle.apache.org/docs/latest 编译好的 eagle-0.5.0 tar包:https://download.csdn.net/download/Dr_Guo/13188435 编译好的 eagle-0.5.1-SNAPSHOT tar包:https://download.c
用eagle对集群的所有hive任务进行监控上线不久就下线了,在集群任务过多过密的情况下出现了很多问题,应该是0.4版本eagle本身的问题。 1、之前文章中提到过的hostname的问题 2、eagle会把运行任务的id记录到zookeeper上,每一个job创建一个节点挂在根节点下。因为集群任务数量过大,造成节点数太多,zookeeper的节点的子节点数超过限额之后会直接报错,任务也就直接失败
SiteResource.java相当于 Dropwizard框架里的Resource类。 SiteEntity.java相当于Dropwizard框架里的Representation类,用来定义返回的结果的数据字段。 在JDBCMetadataStore.java里面绑定的SiteEntityServiceJDBCImpl和SiteEntityService相当于封装的底层数据库查询类。然后在S
以siteList.html页面为例梳理流程 1、页面调用来源main.html E:\code\eagle\eagle-master-0.5.0-SNAPSHOT\eagle-server\src\main\webapp\app\dev\partials\integration\main.html <li ng-class="{active: getState().indexOf('inte
本文向大家介绍MySQL数据库中的安全设置方案,包括了MySQL数据库中的安全设置方案的使用技巧和注意事项,需要的朋友参考一下 随着网络的普及,基于网络的应用也越来越多。网络数据库就是其中之一。通过一台或几台服务器可以为很多客户提供服务,这种方式给人们带来了很多方 便,但也给不法分子造成了可乘之机。由于数据都是通过网络传输的,这就可以在传输的过程中被截获,或者通过非常手段进入数据库。由于以上原因,
数据安全说明 数据传输 及策数据传输包含 SDK 采集数据传输 和 系统 API 数据传输: SDK 采集数据传输 是指及策 SDK 采集数据通过网络发送到及策服务器,该过程我们使用了业内通用的 https 加密协议来防止数据被恶意截获解析; 系统 API 数据传输 是指和及策产品和客户自助开发的数据分析系统进行数据对接时所用到的数据传输接口,该过程我们也使用 https 加密协议进行传输,并进行
我已经使用spring框架构建了一个web项目,并据此向其中添加了jar。但是当我执行它时,它会出现以下错误。请为我提供此错误的解决方案。 我的调度文件是 LoginController代码
一面6.14 45min 挖简历项目 机器学习线性模型口诉原理(简历提到机器学习) 手写最大子数组和(ac通过),要求nlogn复杂度。(提示递归,未答出) 无八股 二面6.18 1h 挖简历项目(详细介绍项目、随口问了下springboot与jdk版本 、MongoDB原理,elasticsaerch等) 场景题:抢购平台,有哪些与异常相关的字段,比如用户订单等信息。如何设计异常检测大数据平台
是否可以为Apache Kafka的Spring Cloud DataFlow配置身份验证?在哪里可以看到示例? 谢谢你。
数据传输 及策数据传输包含 SDK 采集数据传输 和 系统 API 数据传输: SDK 采集数据传输 是指及策 SDK 采集数据通过网络发送到及策服务器,该过程我们使用了业内通用的 https 加密协议来防止数据被恶意截获解析; 系统 API 数据传输 是指和及策产品和客户自助开发的数据分析系统进行数据对接时所用到的数据传输接口,该过程我们也使用 https 加密协议进行传输,并进行数据获取权限验
7.数据安全隐私说明 数据传输 及策数据传输包含 SDK 采集数据传输 和 系统 API 数据传输: SDK 采集数据传输 是指及策 SDK 采集数据通过网络发送到及策服务器,该过程我们使用了业内通用的 https 加密协议来防止数据被恶意截获解析; 系统 API 数据传输 是指和及策产品和客户自助开发的数据分析系统进行数据对接时所用到的数据传输接口,该过程我们也使用 https 加密协议进行传输
7.数据安全隐私说明 数据传输 及策数据传输包含 SDK 采集数据传输 和 系统 API 数据传输: SDK 采集数据传输 是指及策 SDK 采集数据通过网络发送到及策服务器,该过程我们使用了业内通用的 https 加密协议来防止数据被恶意截获解析; 系统 API 数据传输 是指和及策产品和客户自助开发的数据分析系统进行数据对接时所用到的数据传输接口,该过程我们也使用 https 加密协议进行传输