转载

Apache Eagle毕业成为顶级项目

Apache Eagle 是一个识别大数据平台上的安全和性能问题的开源解决方案，2017年1月10日，Apache Eagle毕业成为 Apache 顶级项目。

Eagle首先由 eBay 在2015年10月开源，它主要用来即时监测敏感数据访问和恶意活动，并及时采取行动。除了数据活动管理，Eagle也可以用于节点异常检测,集群和作业性能分析。

作业性能分析是通过处理 YARN 应用日志和对YARN中所有运行的作业进行快照分析来完成的。Eagle可以检测单个作业趋势、数据偏斜问题、故障原因和考虑所有运行的作业情况下评估集群的整体性能。Eagle通过计算每个节点的任务失败率来监测行为异常和需要关注的节点。至于集群性能，Eagle通过计算每个YARN作业占用的资源并把它与横向服务的指标（比如 HDFS namenode）来帮助识别整体集群缓慢的原因。

Apache Eagle依赖于 Apache Storm 来进行数据活动和操作日志的流处理，并且可以执行基于策略的检测和报警。它提供多个API：作为基于Storm API上的一层抽象的流式处理API和policy engine provider API的抽象，它将 WSO2的开源Siddhi CEP engine 作为第一类对象。Siddhi CEP engine支持报警规则的热部署，并且警报可以使用属性过滤和基于窗口的规则（例如，在10分钟内三次以上的访问）来定义。

Apache Eagle中还包括一个基于机器学习的policy provider。它从过去的用户行为中学习，来将数据访问分类为异常或者正常。这个机器学习policy provider评估在 Apache Spark 框架中离线训练的模型。Eagle用两种机器学习方法来计算用户配置信息：一个方法是密度估计，用来计算每个用户/活动的高斯概率密度和一个阈值，另一个方法是特征值分解，通过减少用户和活动的特征维度来提取其行为模式。

数据集成是使用 Apache Kafka 通过 logstash forwarder 代理或通过 log4j kafka appender 来实现的。来自多个Hadoop守护进程（例如，namenode，datanode等）的日志条目被反馈到Kafka并由Storm处理。Eagle支持将数据资产分类为多个灵敏度类型。

Apache Eagle毕业成为顶级项目