转载

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 是一个无需写代码的爬虫平台,通过定义流程的方式制定爬虫。  

本次更新内容如下:

  • 新增注释节点
  • 新增字符串反转义函数
  • 新增属性窗口切换靠右/靠底
  • 新增消息通知功能(任务启动通知、任务停止通知)
  • 新增自动重试功能
  • 新增自动去重功能
  • 新增流程历史版本记录
  • 新增rest服务异步启动、查看状态、停止接口
  • 新增长任务模式
  • 新增输出节点可选编码格式
  • 新增函数elementsVar.htmls、outerHtmls、texts、attrs、ownTexts、wholeTexts等方法
  • 修复全局参数回显不出值的BUG
  • 修复删除任务时未停止任务的BUG
  • 修复日志下载内容为空的BUG
  • 修复输出csv文件被锁定的问题
  • 优化编辑器可跨页面/tab复制粘贴节点
  • 优化循环,增加开始位置、结束位置、循环次数或集合,循环下标等
  • 优化页面样式
  • 优化文档

ocr插件

  • 优化配置,单独提取出配置列表(与数据源类似)

mailbox插件

  • 优化配置,单独提取出配置列表(与数据源类似)

产品规划

从v0.6.0版本起前端将改用vue重构,有兴趣的小伙伴可以联系我~

截图

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

spider-flow 0.5.0 发布,Java 开源爬虫平台

Github

https://github.com/javamxd/spider-flow

原文  https://www.oschina.net/news/114847/spider-flow-0-5-0-released
正文到此结束
Loading...