原创

百万数据的对账优化

写在前面

最近线上的对账程序一直不稳定,经常出现对账时间超长,影响结算跑批任务,导致后续业务受影响。

原来的流程

1528443001(1) 系统订单量不大的情况下可以这样子处理没有什么异常问题,随着系统订单的增长,对账时间不断增长,远远超过我们能忍的极限,比如说:到早上还没有对帐完,影响第二天出结算单的时间,不能做到财务T+1结算。极大的阻碍了业务的正常发展。

优化后的流程

优化思路大概分为以下几步:
  • 将系统之前的串行对账改成并行对账
  • 查询订单数据改成分布查询,不能一次加载几百万数据
  • 对账结果分多线程批量写入
1528445794(1) 需要注意的地方:
  • 线程之间通信的问题,可以采用共享变量方式将对账结果存入ConcurrentHashMap
  • 线程数的大小需要控制好,不能超出机器本身的负载能力,
  • 每次对完账之后记得清除集合数据,防止内存溢出
正文到此结束
Loading...