写在前面
最近线上的对账程序一直不稳定,经常出现对账时间超长,影响结算跑批任务,导致后续业务受影响。
原来的流程
系统订单量不大的情况下可以这样子处理没有什么异常问题,随着系统订单的增长,对账时间不断增长,远远超过我们能忍的极限,比如说:到早上还没有对帐完,影响第二天出结算单的时间,不能做到财务T+1结算。极大的阻碍了业务的正常发展。
优化后的流程
优化思路大概分为以下几步:
- 将系统之前的串行对账改成并行对账
- 查询订单数据改成分布查询,不能一次加载几百万数据
- 对账结果分多线程批量写入
需要注意的地方:
- 线程之间通信的问题,可以采用共享变量方式将对账结果存入ConcurrentHashMap
- 线程数的大小需要控制好,不能超出机器本身的负载能力,
- 每次对完账之后记得清除集合数据,防止内存溢出