转载

风铃虫 1.3.0 发布,修复若干 bug

风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。

本次版本是一个修复性版本,主要是为了解决与优化上一版中存在的一些问题,优化系统默认参数,并解决在运行过程中出现的线程安全问题。

本次更新内容如下:

  1. 修改默认请求超时时间为30秒
  2. 修改默认的线程数为单线程
  3. 解决java8中并行流引起的线程安全问题

本次更新特别感谢 @ supperfire 同学提出的宝贵意见,同时欢迎大家提出更多的使用意见,大家一起使用风铃虫变得更加完美。

原文  https://www.oschina.net/news/115606/wind-bell-1-3-0-released
正文到此结束
Loading...