常见的https网站做的是服务端认证(server authentication),浏览器通过证书判断你所访问的 https://baidu.com是否真的是百度,而不是其他人伪造的网站。同时还对流量加密,防止别人窃听你的流量。
tls还可以做客户端认证(client authentication),即服务端判断客户端是否为其所信任的客户端。由此可见,客户端认证用于那些需要受控访问服务端。
在数据中心中,有些服务是非常敏感的,那么我们要做到:
所以很明显,前两个问题可以通过服务端认证解决,最后一个问题可以通过客户端认证解决。顺便一提,如果要使用客户端认证就必须使用服务端认证。
先来讲讲概念然后举个tomcat的例子讲讲怎么做。
不论是做Server authentication还是Client authentication都需要证书。证书的来源有两种:
在一切可能的情况下都应该使用权威CA签发的证书,为什么这么建议?因为这里牵涉到一个信任问题,浏览器、编程语言SDK和某些工具都维护了一个信任CA证书清单,只要是由这些CA签发的证书那就信任,否则就不信任。而这个链条是可以多级的,这里就不展开了。你只需要知道由信任CA签发的所有证书都是可信的。比如JDK自带的信任CA证书可以通过下面命令看到:
keytool -list -keystore $JAVA_HOME/jre/lib/security/cacerts verisignclass2g2ca [jdk], 2016-8-25, trustedCertEntry, 证书指纹 (SHA1): B3:EA:C4:47:76:C9:C8:1C:EA:F2:9D:95:B6:CC:A0:08:1B:67:EC:9D digicertassuredidg3 [jdk], 2016-8-25, trustedCertEntry, 证书指纹 (SHA1): F5:17:A2:4F:9A:48:C6:C9:F8:A2:00:26:9F:DC:0F:48:2C:AB:30:89 verisignuniversalrootca [jdk], 2016-8-25, trustedCertEntry, ...
让你输密码的时候输入 changeit
。
如果这个证书不是由信任CA签发的(比如自己签发)会发生什么?浏览器、编程语言SDK、你所使用的工具会报告以下错误:
curl:
curl: (60) SSL certificate problem: self signed certificate in certificate chain
Java:
Exception in thread "main" javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target at sun.security.ssl.Alerts.getSSLException(Alerts.java:192) at sun.security.ssl.SSLSocketImpl.fatal(SSLSocketImpl.java:1964) at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:328) at sun.security.ssl.Handshaker.fatalSE(Handshaker.java:322) at sun.security.ssl.ClientHandshaker.serverCertificate(ClientHandshaker.java:1614) ...
浏览器:
这个错误实际上就是在告诉你这个证书不可信任,可能是一个伪造站点,让你小心点儿。如果这个证书由权威CA签发,那么就没有这个问题了。但是权威CA签发的证书要求申请人拥有域名,如果你这个服务是内部使用的没有域名,那就只能自己签发了。那么如何解决上面的问题呢?你得把自己签发的证书加入到信任CA证书清单里。
下图是权威CA签发证书的示例:
可以看到客户端有一个truststore,这个就是存放信任CA证书的地方,服务端有一个keystore,存放的自己的证书及对应的私钥。
下图是自签发证书的示例:
在上面可以看到我们自己成为了一个Root CA,把它放到客户端的truststore里。
前面讲过客户端认证是服务端来验证客户端是否可信的机制,其实做法和服务端认证类似只不过方向相反。客户端认证大多数情况下只能是自签发的(因为没有域名),虽然不是不可以从权威CA签发但是存在一些问题。下面解释为什么,假设权威CA是let’s encrypt,然后服务端信任它签发的所有证书。但是let’s encrypt是阿猫阿狗都可以申请的,现在有一个黑客申请了这个证书,然后请求你的服务端,服务端就认可了。
上面这个问题可以用这个方法解决:比如你用let’s encrypt申请了A证书,黑客用let’s encrypt申请了B证书,你的服务端的truststore只信任A证书,那么黑客用B证书访问你的时候就会被拒绝。但是这就带来另一个问题,比如你在开发的时候客户端证书有这么几套:生产用、调试用、开发用,那么每次客户端签发一个证书都要更新到你的服务器的truststore里,这也太麻烦了。
所以结合安全性和便利性,我们把自己变成Root CA,然后服务端信任它,这样一来服务端就可以在开发的时候把Client Root CA内置进去,大大减轻了维护truststore的工作量,看下图:
下面举一个Tomcat做客户端认证的例子,因为是测试用,所以服务端认证也是用的自签发证书。
我们用了 cfssl 这个工具来生成证书。
先弄一套目录:
# 放自签发的服务端CA根证书 server-secrets/ca # 放自签发的服务端的证书 server-secrets/cert # 放服务端的keystore和truststore server-secrets/jks
新建文件:server-secrets/ca/server-root-ca-csr.json
内容如下:
{ "key": { "algo": "rsa", "size": 2048 }, "names": [ { "O": "Company", "OU": "Datacenter", "L": "Shanghai", "ST": "Shanghai", "C": "CN" } ], "CN": "server-root-ca" }
运行下面命令生成Server ROOT CA证书:
cfssl gencert --initca=true ./server-root-ca-csr.json | cfssljson --bare server-root-ca
会得到下面几个文件:
server-secrets/ca/ ├── server-root-ca-key.pem ├── server-root-ca.csr └── server-root-ca.pem
用下面命令验证证书:
openssl x509 -in ./server-root-ca.pem -text -noout Certificate: Data: Version: 3 (0x2) Serial Number: 0c:8a:1a:ca:da:fa:4c:17:6c:1f:42:40:4c:f1:90:f4:fd:1d:fe:58 Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=server-root-ca Validity Not Before: Mar 27 05:14:00 2019 GMT Not After : Mar 25 05:14:00 2024 GMT Subject: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=server-root-ca
可以看到签发人和被签发人是同一个。
新建文件 server-secrets/cert/server-gencert.json,内容如下:
{ "signing": { "default": { "usages": [ "signing", "key encipherment", "server auth" ], "expiry": "87600h" } } }
可以看到我们会生成用来做server auth的证书。
新建文件 server-secrets/cert/demo-csr.json,内容如下:
{ "key": { "algo": "rsa", "size": 2048 }, "names": [ { "O": "Company", "OU": "Datacenter", "L": "Shanghai", "ST": "Shanghai", "C": "CN" } ], "CN": "server-demo", "hosts": [ "127.0.0.1", "localhost" ] }
看上面的hosts,你可以根据自己的需要填写域名或IP,这里因为是本地演示所以是127.0.0.1和localhost。
运行下面命令生成证书
cfssl gencert / --ca ../ca/server-root-ca.pem / --ca-key ../ca/server-root-ca-key.pem / --config ./server-gencert.json / ./demo-csr.json | cfssljson --bare ./demo
得到文件:
server-secrets/cert/ ├── demo-key.pem ├── demo.csr └── demo.pem
验证结果:
openssl x509 -in ./demo.pem -text -noout Certificate: Data: Version: 3 (0x2) Serial Number: 1d:d0:51:97:6c:ce:ea:29:2a:f4:3b:3c:48:a3:69:b0:ef:f3:26:7b Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=server-root-ca Validity Not Before: Mar 27 05:17:00 2019 GMT Not After : Mar 24 05:17:00 2029 GMT Subject: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=server-demo
可以看到签发者是server-root-ca,Subject是server-demo。
到 server-secrets/jks,执行下面命令生成pkcs12格式的keystore(JDK识别这个格式)
openssl pkcs12 -export / -in ../cert/demo.pem / -inkey ../cert/demo-key.pem / -out server-demo.keystore / -name server-demo / -CAfile ../ca/server-root-ca.pem / -caname root -chain
过程中会让你输入密码,你就输入:server-demo-ks。
得到文件:
server-secrets/jks/ └── server-demo.keystore
用JDK提供的keytool看看里面的内容:
keytool -list -keystore server-demo.keystore server-demo, 2019-3-27, PrivateKeyEntry, 证书指纹 (SHA1): B2:E5:46:63:BB:00:E7:82:48:A4:2F:EC:01:41:CE:B4:4B:CE:68:7A
让你输入密码的时候就输入:server-demo-ks。
先弄一套目录:
# 放自签发的客户端CA根证书 client-secrets/ca # 放自签发的客户端的证书 client-secrets/cert # 放客户端的keystore和truststore client-secrets/jks
新建文件 client-secrets/ca/client-root-ca-csr.json:
{ "key": { "algo": "rsa", "size": 2048 }, "names": [ { "O": "Company", "OU": "Datacenter", "L": "Shanghai", "ST": "Shanghai", "C": "CN" } ], "CN": "client-root-ca" }
运行下面命令生成Client ROOT CA证书:
cfssl gencert --initca=true ./client-root-ca-csr.json | cfssljson --bare client-root-ca
会得到下面几个文件:
client-secrets/ca/ ├── client-root-ca-key.pem ├── client-root-ca.csr └── client-root-ca.pem
用下面命令验证证书:
openssl x509 -in ./client-root-ca.pem -text -noout Certificate: Data: Version: 3 (0x2) Serial Number: 7e:fc:f3:53:07:1a:17:ae:24:34:d5:1d:00:02:d6:e4:24:09:92:12 Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=client-root-ca Validity Not Before: Mar 27 05:20:00 2019 GMT Not After : Mar 25 05:20:00 2024 GMT Subject: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=client-root-ca
可以看到签发人和被签发人是同一个。
新建文件 client-secrets/cert/client-gencert.json,内容如下:
{ "signing": { "default": { "usages": [ "signing", "key encipherment", "client auth" ], "expiry": "87600h" } } }
可以看到我们会生成用来做client auth的证书。
新建文件 client-secrets/cert/demo-csr.json,内容如下:
{ "key": { "algo": "rsa", "size": 2048 }, "names": [ { "O": "Company", "OU": "Datacenter", "L": "Shanghai", "ST": "Shanghai", "C": "CN" } ], "CN": "client-demo" }
这里没有hosts,这是因为我们不需要用这个证书来做服务端认证。
运行下面命令生成证书
cfssl gencert / --ca ../ca/client-root-ca.pem / --ca-key ../ca/client-root-ca-key.pem / --config ./client-gencert.json / ./demo-csr.json | cfssljson --bare ./demo
得到文件:
client-secrets/cert/ ├── demo-key.pem ├── demo.csr └── demo.pem
验证结果:
openssl x509 -in ./demo.pem -text -noout Certificate: Data: Version: 3 (0x2) Serial Number: 6e:50:e2:2c:02:bb:ef:fd:03:d9:2c:0a:8f:ba:90:65:fb:c4:b5:75 Signature Algorithm: sha256WithRSAEncryption Issuer: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=client-root-ca Validity Not Before: Mar 27 05:21:00 2019 GMT Not After : Mar 24 05:21:00 2029 GMT Subject: C=CN, ST=Shanghai, L=Shanghai, O=Company, OU=Datacenter, CN=client-demo
可以看到签发者是client-root-ca,Subject是client-demo。
到 client-secrets/jks,执行下面命令生成pkcs12格式的keystore(JDK识别这个格式)
openssl pkcs12 -export / -in ../cert/demo.pem / -inkey ../cert/demo-key.pem / -out client-demo.keystore / -name client-demo / -CAfile ../ca/client-root-ca.pem / -caname root -chain
过程中会让你输入密码,你就输入:client-demo-ks。
得到文件:
client-secrets/jks/ └── client-demo.keystore
用JDK提供的keytool看看里面的内容:
keytool -list -keystore client-demo.keystore client-demo, 2019-3-27, PrivateKeyEntry, 证书指纹 (SHA1): 83:AE:0E:5E:0C:CE:86:C9:D1:84:D7:6F:87:F3:76:1F:B4:3E:46:31
让你输入密码的时候就输入:client-demo-ks。
好了,到此为止server和client的证书都已经生成了,接下来只需要将各自的root-ca添加到彼此都truststore中。
cd client-secrets/jks keytool -importcert / -alias server-root-ca / -storetype pkcs12 / -keystore client.truststore / -storepass client-ts / -file ../../server-secrets/ca/server-root-ca.pem -noprompt
注意上面的-storepass参数,这个是trustore的密码:client-ts。
得到文件:
client-secrets/jks/ └── client.truststore
用JDK提供的keytool看看里面的内容:
keytool -list -keystore client.truststore server-root-ca, 2019-3-27, trustedCertEntry, 证书指纹 (SHA1): 75:E3:78:97:85:B2:29:38:25:3C:FD:EC:68:97:9B:78:A0:5F:BB:9D
让你输入密码的时候就输入:client-ts。
cd server-secrets/jks keytool -importcert / -alias client-root-ca / -storetype pkcs12 / -keystore server.truststore / -storepass server-ts / -file ../../client-secrets/ca/client-root-ca.pem -noprompt
注意上面的-storepass参数,这个是trustore的密码:server-ts。
得到文件:
server-secrets/jks/ └── server.truststore
用JDK提供的keytool看看里面的内容:
keytool -list -keystore server.truststore client-root-ca, 2019-3-27, trustedCertEntry, 证书指纹 (SHA1): 1E:95:2C:12:AA:7E:6D:E7:74:F1:83:C2:B8:73:6F:EE:57:FB:CA:46
让你输入密码的时候就输入:server-ts。
好了,我们现在client和server都有了自己证书放在了自己的keystore中,而且把彼此的root-ca证书放到了自己的truststore里。现在我们弄一个tomcat作为server,然后为他配置SSL。
修改tomcat/conf/server.xml,添加如下Connector:
<Connector port="8443" protocol="org.apache.coyote.http11.Http11NioProtocol" maxThreads="150" SSLEnabled="true"> <SSLHostConfig certificateVerification="required" truststoreFile="/path/to/server-secrets/jks/server.truststore" truststorePassword="server-ts" truststoreType="PKCS12"> <Certificate certificateKeyAlias="server-demo" certificateKeystoreFile="/path/to/server-secrets/demo-jks/server-demo.keystore" certificateKeystoreType="PKCS12" certificateKeystorePassword="server-demo-ks" type="RSA" /> </SSLHostConfig> </Connector>
可以看到我们开启了客户端认证 certificateVerification="required"
,也开启了服务端认证 <Certificate>
。记得修改上面的keystore和truststore的路径。
修改tomcat/conf/web.xml,添加如下元素:
<security-constraint> <web-resource-collection> <web-resource-name>Automatic Forward to HTTPS/SSL</web-resource-name> <url-pattern>/*</url-pattern> </web-resource-collection> <user-data-constraint> <transport-guarantee>CONFIDENTIAL</transport-guarantee> </user-data-constraint> </security-constraint>
这个作用是当访问8080端口时,都跳转到8443端口,强制走HTTPS。
启动tomcat:
tomcat/bin/catalina.sh run
好了,我们现在用curl来测试访问一下:
curl https://localhost:8443/ curl: (60) SSL certificate problem: self signed certificate in certificate chain ...
看到curl说服务端用的是一个自签发的证书,不可信,也就是说服务端认证失败。添加 --insecure
试试:
curl --insecure https://localhost:8443/ curl: (35) error:1401E412:SSL routines:CONNECT_CR_FINISHED:sslv3 alert bad certificate
这里就说明客户端认证失败。
所以如果要正确访问得像下面这样,指定server-root-ca证书,以及客户端自己签发的证书及private key:
curl --cacert server-secrets/ca/server-root-ca.pem / --key client-secrets/cert/demo-key.pem / --cert client-secrets/cert/demo.pem / https://localhost:8443/ <!DOCTYPE html> <html lang="en"> ...
我们现在用Httpclient来访问看看。pom.xml中添加依赖:
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.7</version> </dependency>
Java代码,记得把文件路径改掉:
import org.apache.http.HttpEntity; import org.apache.http.HttpException; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.conn.ssl.SSLConnectionSocketFactory; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.ssl.SSLContexts; import org.apache.http.util.EntityUtils; import javax.net.ssl.SSLContext; import java.io.File; import java.io.IOException; public class Client { public static void main(String[] args) throws Exception { SSLContext sslcontext = SSLContexts.custom() .loadTrustMaterial( new File("/path/to/client-secrets/demo-jks/client.truststore"), "client-ts".toCharArray() ) .loadKeyMaterial( new File("/path/to/client-secrets/demo-jks/client-demo.keystore"), "client-demo-ks".toCharArray(), "client-demo-ks".toCharArray()) .build(); SSLConnectionSocketFactory sslsf = new SSLConnectionSocketFactory( sslcontext, SSLConnectionSocketFactory.getDefaultHostnameVerifier()); CloseableHttpClient httpclient = HttpClients.custom() .setSSLSocketFactory(sslsf) .build(); HttpGet httpGet = new HttpGet("https://localhost:8443"); CloseableHttpResponse response = httpclient.execute(httpGet); try { System.out.println(response.getStatusLine()); HttpEntity entity = response.getEntity(); System.out.println(EntityUtils.toString(entity)); } finally { response.close(); } } }
因为服务端认证所需要的证书直接配置在Tomcat上的,因此在做反向代理的时候不能使用SSL Termination模式,而是得使用SSL Passthrough模式。
上面讲的方法不是只适用于Tomcat和Httpclient的,TLS的服务端认证与客户端认证应该在绝大部分的语言、SDK、类库都有支持,请自行参阅文档实践。文中的keystore和truststore是Java特有的,不过不必迷惑,因为它们仅仅起到一个存放证书和private key的保险箱,有些语言或工具则是直接使用证书和private key,比如前面提到的curl。
一些基础概念:
其他运用客户端认证的软件的相关文档,很有启发: