Url2IOElastic 是一个第三方的 URL2io java SDK,用于网页正文提取。
http://www.url2io.com/docs
Url2IOBase 库 仅支持将爬取到的标题和内容写入文件,且文件所在的目录是项目的根目录,它不支持其他任何操作,如保存到数据库等。
Url2IOElastic 库 则是采用了插件机制,可以自定义类对结果进行自定义处理,如保存到数据库、上传到服务器等。
项目使用建造者模式,有7个属性可以定制,其中的 token 和 beginUrl 这2个属性是必须指定值的,其余参数是可选的。各个参数的介绍如下:
示例代码:
// step 1 Url2IOElasticCore.Builder builder = new Url2IOElasticCore.Builder() .token("4BNmeuIYRduW6S6p_J8hlw") .beginUrl("http://www.ybdu.com/xiaoshuo/13/13308/5819124.html") .index(1) .total(3) .sleepTime(1000L); // setExtraProcessor 和 addResultHandleThread 属性未指定值 // step 2 Url2IOElasticCore elasticCore = builder.build(); // step 3 elasticCore.article();
① setExtraProcessor
通过自定义一个类,继承 BaseExtraProcessor ,并按需重载它的 processTitle(String title) 、 processContent(String content) 、 processDate(String date) 这3个方法来实现对爬取到的正文标题、正文内容和时间进行额外的处理,比如去掉一些多余的字符等等。
② addResultHandleThread
通过自定义一个类,继承 BaseResultHandleThread , BaseResultHandleThread 是一个继承自 Thread 的类,继承它就可用自动继承 一个 int 类型的 index 属性和一个 Url2IOResponse 类型的 data 对象,index 属性标识了 data 数据是哪一个 index 对应的数据, Url2IOResponse 类型是 url2io 服务器返回的 json 字符串对应的 model ,所有需要的数据都可用在里面找到。
代码内使用 ArrayList 来承载 BaseResultHandleThread 的 Class 类型,这意味着你可以添加多个 BaseResultHandleThread 的子类,他们的 run 方法都会被执行。例如你既可以将结果写入本地文件,还可以保存到数据库,还可以保存到第三方服务器,等等。
传送门(待填坑) >>>
欢迎提 issue,提 PR。