今天公司某個站台報修出現異常狀況,查了之後反而找到另一個 catalina.out 跑出來的錯誤訊息:
2019/5/28 12:10:16 org.apache.jk.common.MsgAjp cpBytes: Buffer overflow: buffer.len=8192 pos=8111 data=84 … 2019/5/28 12:10:16 org.apache.catalina.core.StandardWrapperValve invoke: Servlet.service() for servlet CfmServlet threw exception java.lang.ArrayIndexOutOfBoundsException: 8192
遇到這個問題通常就是踩到 limit 了,拿去查狗發現是在 AJP1.3 Connector 的預設 packet size 限制預設為 8192,通常每個 packet 不會超過這個大小,有可能是工程師開發時誤把 Body 的資料丟到 GET 造成 packet 過大。
根解其實要去了解為何造成 packet 過大,但 Workaround 可以透過設定 packet size 暫時解套。
這邊遇到 AJP1.3 協定是 Apache + Mod_jk + Tomcat 時產生的問題,如果要調整 packet size 必須要 Connector 搭配 Tomcat 一起調整,詳細在官方文件都有提到:
If you change it from the default, you must also change the packetSize attribute of your AJP connector on the Tomcat side!
如果兩邊的 packet size 不一致,就會在 mod_jk.log 看到錯誤訊息說 Tomcat Network 有問題:
[Tue May 28 13:35:36.053 2019] [11772:3086083840] [error] ajp_connection_tcp_get_message::jk_ajp_common.c (1283): wrong message size 8196 8192 from 127.0.0.1:8180 [Tue May 28 13:35:36.053 2019] [11772:3086083840] [error] ajp_get_reply::jk_ajp_common.c (2088): (tutor) Tomcat is down or network problems. Part of the response has already been sent to the client [Tue May 28 13:35:36.053 2019] [11772:3086083840] [error] ajp_service::jk_ajp_common.c (2536): (tutor) sending request to tomcat failed (unrecoverable), because of protocol error (attempt=1)
mod_jk 的設定在 workers.properties 加上 max_packet_size
worker.list=server worker.server.port=8080 worker.server.host=127.0.0.1 worker.server.type=ajp13 worker.server.max_packet_size=65536
在 server.xml 的 AJP1.3 Connector 加上 packetSize
<Connector port="8080" maxHttpHeaderSize="8192" packetSize="65536" maxThreads="500" minSpareThreads="50" maxSpareThreads="100" connectionTimeout="120000" backlog="1000" enableLookups="false" redirectPort="8443" protocol="AJP/1.3"/>
Apache 和 Tomcat 都重啟後就搞定了!