AIL是一个用于分析潜在的信息泄露的模块化框架,主要针对非结构化的数据资源,如Pastebin网站的粘贴数据等。AIL-Framework十分灵活,可以支持采集敏感数据的其他功能。
图一 AIL-Framework截图展示
图二 AIL-Framework截图展示
处理结构化或非结构化数据流的模块结构
默认支持外部ZMQ feeds,例如CIRCL或其他供应商提供的feeds
每个模块都可以再处理AIL已经处理过的数据
检测和提取URL,包括地理位置(如IP地址)
提取和验证潜在的信用卡号的泄露
提取和验证邮箱地址泄露,包括DNS MX验证
提取Tor的.onion地址(用于进一步分析)
提取和验证潜在的域名
全局索引模块用于索引非结构化信息
多个用于提取电话号码、证书及其他信息的模块
在命令行中输入以下命令,AIL-Framework就可以自动安装并启动:
git clone https://github.com/CIRCL/AIL-framework.git
cd AIL-framework
./installing_deps.sh
cd var/www/
./update_thirdparty.sh
cd~/AIL-framework/
../AILENV/bin/activate
cd bin/
./LAUNCH.sh
默认的 installing_deps.sh 文件是基于Debian和Ubuntu的,针对Archlinux,只需使用 installing_deps_archlinux.sh 将其替换即可。另外,Travis文件支持AIL在其他系统的自动化安装。
启动网站界面,首先需要获取Javascript/CSS文件:
cd $AILENV
cd var/www/
bashupdate_thirdparty.sh
然后启动python脚本:
cd $AILENV
cd var/www/
Flask_server.py
最后,用户便可以在下面的URL中查看AIL-Framework网站的状态
如果用户想要创建新的进程或分析模块,以下为简单的创建步骤:
1、在 ./bin/packages/modules.cfg 文件中添加模块名称,将‘subscribe’值设为Redis_Global;
2、使用 ./bin/template.py 作为样板模块,使用modules.cfg配置中的新模块名在bin/目录下创建文件。
Redis on TCP port 6379 – DB 1 – Paste meta-data
DB 0 – Cache hostname/dns
Redis on TCP port 6380 – Redis Pub-Sub only
Redis on TCP port 6381 – DB 0 – Queue and Paste content LRU cache
LevelDB on TCP port – Lines duplicate
Copyright (C) 2014 Jules Debra
Copyright (C) 2014-2016 CIRCL – Computer Incident Response CenterLuxembourg (c/o smile, security made in Lëtzebuerg, Groupement d’IntérêtEconomique)
Copyright (c) 2014-2016 Raphaël Vinot
Copyright (c) 2014-2016 Alexandre Dulaunoy
This program is free software: you can redistribute it and/or modify
it under the terms of the GNU Affero General Public License aspublished by
the Free Software Foundation,either version 3 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU Affero General Public License for more details.
You should have received a copy of the GNU Affero General PublicLicense
along with this program. Ifnot, see < http://www.gnu.org/licenses/ >.
原文地址: github ,vul_wish编译,转载请注明来自FreeBuf黑客与极客(FreeBuf.COM)