转载

使用ELK搭建社工库

0x01 ELK是什么东西?

ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES，主要用来存储和检索数据。Logstash主要用来往ES中写入数据。Kibana主要用来展示数据。

0x02 为什么用ELK?

传统的社工库通常用MySQL数据库来进行搭建，在相当大的数据下检索效率非常低下。在这种关系型数据库中进行查询需要明确指定列名。而在ES中可用全文检索，并且在大数据的查询中的响应几乎都是毫秒级的，速度相当之快！ELK原本用在日志的大数据收集和分析，其可怕的速度作为社工库也是一种不错的选择。

0x03 安装和配置

前提你需要一个很大的硬盘,大约社工库容量2.5倍的硬盘(ES会创建相关索引)。

你需要安装java至少7以上的版本。并且配置JAVA_HOME环境变量.

因为安装非常简单，只需要下载相应的压缩文件，解压即可。在此不再赘述。

我此次演示的环境在Windows8.1上,ES在Linux中不能使用root权限运行。

ES 2.0.0 Logstash 2.0.0 Kibana 4.2.0

修改配置文件：

ES/config/elasticsearch.yml

cluster.name: esdemo (集群的描述信息)

node.name: 63 (节点名称)

network.host: 192.168.1.5 (绑定的IP地址)

http.port: 9200 (端口号默认9200)

一些Linux环境需要修改 ES/bin/elasticsearch 文件增加

export JAVA_HOME=JDK路径

启动 ES/bin/elasticsearch或者elasticsearch.bat 即可启动

然后访问 http://localhost/IP:9200 可查看是否正常运行

Kibana/config/kibana.yml

elasticsearch.url: "http://192.168.1.5:9200" 指定ES地址

执行Kibana/bin/kibana 或者 kibana.bat启动

查看 http://localhost:5601 是否正常启动

ElasticSearch 天生就很好的支持分布式,如果环境允许可以多使用几台负载。

为了方便理解把ES中的一些概念和MySQL进行对比

ES index(索引) type(类型) document(文档) field(字段)

MySQL database table row column

0x04 社工库搭建

以上工作准备完成之后,就该进入搭建的阶段了.首先确定有哪些列名存在ES中，我自己存了10列，给大家做个参考.

nickname(昵称)、password(密码)、email(邮箱)、qq(QQ号)、telno(手机号码)、idno(身份证号码)、realname(真实姓名)、address(家庭住址)、salt(盐值)、from(数据来源)。相对来说我这样划分的还是蛮详细的。但是在用Logstash写入ES的过程当中就比较费时了。其实如果想偷懒，完全可以把现有的数据只作为一个field写入，也是可以查询出来的。但是这样会比较乱，看着很不舒服。

我现在的主要做法是对一些现有的CSV文件,使用脚本进行清洗，洗成我规定的这些字段的格式。如果是.sql文件，则直接丢进mysql,然后再导出csv文件。也就是说不同的网站数据库最终全部是csv文件，并且是格式相同的csv。有字段不存在的则使用空字符替代。这样的话,可以在不更改logstash配置文件的情况下直接导入ES，也方便进行迁移。

配置logstash 文件(test.conf)

使用ELK搭建社工库