转载

【每日一博】MongoDB 查询超时异常 SocketTimeoutException

在对超过百万条记录的集合进行聚合操作。

DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}"); DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}"); AggregationOutput output = logCollection.aggregate(match,group);

偶尔会发生 Read timed out 异常。

com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable  at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)  at com.mongodb.DB.command(DB.java:261)  at com.mongodb.DB.command(DB.java:243)    ... Caused by: java.net.SocketTimeoutException: Read timed out     at java.net.SocketInputStream.socketRead0(Native Method)     at java.net.SocketInputStream.read(SocketInputStream.java:152)

通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！

然后查看MongoDB的配置信息：

socket-timeout="5000"   //5s

socket-timeout的默认配置为0，也就是没有限制。

没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。

通过多次测试发现最长执行时间为6秒，就把超时时间设置成了10000。

socket-timeout="10000"   //10s

注意： MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用最后一个<mongo:options>配置。

应该把参数配置信息存储在 properties文件中。

<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">  <mongo:options connections-per-host="200"   threads-allowed-to-block-for-connection-multiplier="100"   connect-timeout="1000"    max-wait-time="1000"    auto-connect-retry="true"   socket-keep-alive="true"    socket-timeout="10000"    slave-ok="true"   write-number="1"    write-timeout="0"   write-fsync="true" /> </mongo:mongo>

通过Java API获取配置参数

DBCollection logCollection = mongoTemplate.getCollection(collName); MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions(); System.out.println(mongoOptions.getSocketTimeout());