在python使用SSL(HTTPS)
Posted jiangzhaowei
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在python使用SSL(HTTPS)相关的知识,希望对你有一定的参考价值。
在python上使用SSL有许多场景,我主要关注的是使用python访问HTTPS资源,以及使用python提供HTTPS服务。(HTTPS是SSL在WEB上的应用之一)
一、使用python访问HTTPS网站
这应该算是最简单也是最常见的场景了。我们使用python做为客户端去访问公网上的网站,而这个网站为了传输安全(避免被劫持或者窃听)使用了HTTPS服务,传输过程内容都经过了SSL加密。下面来看下具体的python代码,这里使用的是python2.7.11,用的是python自带的urllib2。当然你也可以使用requests或者pycurl等第三方库,都可以,原理都是一样的,只是实现的手段有些差异而已。
import urllib2
import ssl
if __name__ == ‘__main__‘:
myurl="https://www.baidu.com"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
运行它,我们就可以得到这个网站上的内容了。并且传输过程都经过了加密。是不是很简单。整个的传输过程大概是这样的,客户端请求SSL连接握手(其中会跟服务器有些SSL协议之间的交互,这个我们不用详细去研究)服务器把自己的证书传给客户端,客户端对这个证书进行认证(每台客户端电脑上都会默认安装一些权威CA(证书签发机构)的证书,这个认证就是使用这些证书进行的,python的ssl模块会自动加载这些权威CA证书,当然你也可以自己指定,这个后面会谈到),确保这个证书是由可信的CA颁布的(客户端对服务端证书进行认证这个操作,是从python2.7.9开始才有的,以前版本的是不进行认证的),之后就是利用证书交换密钥后,使用密钥对传输内容进行加密传输。
互联网上大部分的正规网站都是会有自己的证书的,这些证书都是经过权威CA认证的,可以被认为是可信的(其实这个也不一定,前段时间就有过谷歌封杀赛门铁克CA签发的证书的事件,有兴趣的可以去网上搜索看看)。但是同样也有不少网站,由于各种各样的原因没有这些经过权威CA认证的证书,毕竟申请这些证书流程比较麻烦,并且要支付一定的费用。这些网站也可以提供安全的HTTPS服务,但由于他们的证书是自签名的或者是由非权威的CA颁发的(这两种证书后面会谈到),所以会被认为是不可信的。当使用浏览器打开这些网站时,浏览器会提醒你这是不安全的连接,当然这个不安全是指网站未经权威认证,所以网站本身可能不安全,但在网络传输层面上来看,传输是安全的。那我们访问这些网站时,使用上面的代码会有错误提示,下面代码就是访问一个这是我自己建立的一个HTTPS网站https://127.0.0.1:8443,该网站使用的是自签名的证书。如果你使用谷歌浏览器访问会提示你:您的连接不是私密连接,如果你强制连接则会提示不安全
import urllib2
import ssl
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8443"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
运行这个就会出现错误:
提示证书校验错误。这时如果我们想要访问这样的网站就要把客户端的证书校验关闭。在前面加上一句:ssl._create_default_https_context = ssl._create_unverified_context即可
import urllib2
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8443"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error :%s" % str(ex)
当然也可以自己创建一个不校验的SSL上下文,然后引用这个上下文来打开url
ctx = ssl._create_unverified_context()
然后
response = urllib2.urlopen(req,context=ctx)
二、使用OPENSSL生成证书
1、生成自签名的证书
在使用python提供HTTPS服务之前,我们需要先生成证书,这里请参考https://www.cnblogs.com/wucao/archive/2017/02/27/6474711.html 这篇文章讲解了如何使用openssl生成证书。在WINDOWS平台记得要设置环境变量,参考我的一篇博文http://blog.sina.com.cn/s/blog_5d18f85f0102xdm7.html。
使用命令:openssl req -x509 -newkey rsa:2048 -nodes -days 365 -keyout private.pem -out cert.crt
之后会要求我们输入一些组织信息,你可以根据你的实际情况填写。之后就生成了自签名的证书cert.crt,私钥是private.pem
2、自己建立一个CA(证书签发机构),然后用自己的CA来颁发证书。这个我们后面讨论双向认证的时候会用到。详细内容请参考http://blog.csdn.net/gx_1983/article/details/47866537
这里我只是简单的写一下我自己的步骤
1) 保证openssl的bin目录在path环境变量里面。创建一个工作目录,这里我使用ca这个目录。然后在ca下面再创建目录demoCA。之后在demoCA下创建空白文本文件index.txt和serial,并且打开serial写入字符01
2) 先造成CA的KEY和证书
openssl req -new -x509 -days 36500 -key ca.key -out ca.crt
执行后会出现提示,主要是要求输入一些组织方面的信息,请按要求填写即可
执行成功后会造成ca.key和ca.crt 两个文件,ca.key为私钥需要妥善保管,不要轻易给别人。ca.crt为证书可以随意传播。
3) 生成服务器的私钥和证书,其中证书使用了CA的私钥进行签名:
l 生成server私钥
openssl genrsa -out server.key 2048
l 使用server私钥生成server端证书请求文件
openssl req -new -key server.key -out server.csr
一样需要回答一些组织方面的问题
l 使用server证书请求文件通过CA生成由CA签名的证书
openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key
l 验证server证书
openssl verify -CAfile ca.crt server.crt
这样就得到两个文件:一个是私钥server.key;一个是证书server.crt
4) 用跟3)同样的方法生成客户端的client.key和client.crt这两个文件在后面的双向认证里面会用到
三、使用python提供HTTPS服务
我们有了证书和私钥了,下面就可以正式使用python建立一个HTTPS网站了。这里我使用框架实现,用的是twisted。使用的证书是之前用OPENSSL生成的自签名证书。
#-* -coding: utf-8 -* -
from twisted.web import server, resource
from twisted.internet import reactor,ssl
class MainResource(resource.Resource):
isLeaf = True
# 用于处理GET类型请求
def render_GET(self, request):
# name参数
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 设置响应编码
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 响应的内容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/private.pem, # 私钥
‘C:/ca/cert.crt‘ # 证书
)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "监听端口:8080"
reactor.run()
使用之前的客户端访问,记得关闭证书校验。这时可以看到可以顺利访问。如果使用浏览器访问,也可以正常访问,但此时会出现安全提示,忽略这个安全提示后也可以正常访问。
四、SSL双向校验
上面的示例都是客户端对服务器端证书的校验。这也是最常见的单向校验。这里面由客户端来校验服务器端的证书(当然也可以选择不校验)。通常的互联网服务都是这种方式。在这种方式下,客户端不需要有证书。服务器端也不会校验客户端的证书。此外还有一种双向校验模式。在这种模式下,客户端也要有证书,并且在协商过程中提供给服务器端。服务器也会对客户端的证书进行校验。这种模式一般应用于对安全要求比较高的环境,服务器和用户端都需要证书,并且双方都要能被权威CA验证通过。看看下面的服务器端代码:
#-* -coding: utf-8 -* -
from twisted.web import server, resource
from twisted.internet import reactor,ssl
from OpenSSL import SSL
def verifyCallback(connection, x509, errnum, errdepth, ok):
if not ok:
print ‘invalid cert from subject:‘, x509.get_subject()
return False
else:
print "Certs are fine", x509.get_subject()
return True
class MainResource(resource.Resource):
isLeaf = True
# 用于处理GET类型请求
def render_GET(self, request):
# name参数
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 设置响应编码
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 响应的内容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/private.pem, # 私钥
‘C:/ca/cert.crt‘ # 证书
)
ctx = sslContext.getContext()
#这里改为了双向校验模式
ctx.set_verify(
SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,
verifyCallback
)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "监听端口:8080"
reactor.run()
然后再用客户端来访问一下。这时会发现有错误出现,错误提示为:
提示sslv3协议握手失败。原因就是服务器端要求双向校验,但客户端没有提供自己的证书给服务器,所以握手协商失败。
好的,我们再改一下客户端代码,适配这种双向校验模式。这里客户端使用使用的证书是,是之前使用OPENSSL生成的客户端证书,并且使用了我们自己建立的CA进行签名。
import urllib2
import ssl
KEY_FILE="C:/ca/client.key"
CERT_FILE="C:/ca/client.crt"
context = ssl.SSLContext(ssl.PROTOCOL_SSLv23)
context.check_hostname = False
context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
context.verify_mode=ssl.CERT_REQUIRED
if __name__ == ‘__main__‘:
myurl="https://127.0.0.1:8080/?name=qh"
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req,context=context)
#response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
这里出现错误提示
证书校验失败。这是因为服务器提供的证书没有通过客户端的校验。
这是因为服务器端的证书是使用自签名的证书,当然通不过客户端校验了。这里我们要把服务器端的证书改成我们使用CA签名的证书。修改一下服务器端代码:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/server.key‘, # 私钥
‘C:/ca/server.crt‘ # 证书
)
改过之后再试,可以还出现同样的错误,这是怎么回事呢?原来服务器端的证书是使用我们自建的CA进行签名的,不是权威CA,所以校验失败了。这怎么办呢,我们可以指定CA的证书,把我们的CA证书设置为可信。修改一下客户端,加上一句:
CA_FILE="c:/ca/ca.crt"
context.load_verify_locations(CA_FILE)
注意ca.crt是之前我们使用OPENSSL建立的CA证书(请参考前面第二部分的内容)。修改之后重新运行,发现还是出现错误:
这个错误提示变了,提示CA不知名。同时在服务器端的回调函数也有错误输出:invalid cert from subject:
这说明服务器端校验客户端证书失败,原因当然是服务器端我们没有把我们自己的CA设置为可信。所以同样的在服务器端也要修改一下,加上以下两句:
cafile="c:/ca/ca.crt"
ctx.load_verify_locations( cafile)
重新运行,这下成功了
下面把完整的代码发一下:
服务器端:
#-* -coding: utf-8 -* -
‘‘‘
Created on 2018-1-16
@author: qh
‘‘‘
from twisted.internet import iocpreactor as iocpreactor
try:
iocpreactor.install()
except Exception, e:
print "iocp install failed:%s" % str(e)
from twisted.web import server, resource
from twisted.internet import reactor,ssl
from OpenSSL import SSL
cafile="c:/ca/ca.crt"
class MainResource(resource.Resource):
isLeaf = True
# 用于处理GET类型请求
def render_GET(self, request):
# name参数
name = ‘World‘
if request.args.has_key(‘name‘):
name = request.args[‘name‘][0]
# 设置响应编码
request.responseHeaders.addRawHeader("Content-Type", "text/html; charset=utf-8")
# 响应的内容直接返回
return "
Hello, " + name + ""
if __name__ == ‘__main__‘:
sslContext = ssl.DefaultOpenSSLContextFactory(
‘C:/ca/server.key‘, # 私钥
‘C:/ca/server.crt‘ # 证书
)
ctx = sslContext.getContext()
ctx.set_verify(
SSL.VERIFY_PEER | SSL.VERIFY_FAIL_IF_NO_PEER_CERT,
verifyCallback
)
ctx.load_verify_locations( cafile)
site = server.Site(MainResource())
reactor.listenSSL(8080, site, sslContext)
print "监听端口:8080"
reactor.run()
客户端:
‘‘‘
Created on 2018-3-2
@author: qh
‘‘‘
import urllib2
import ssl
KEY_FILE="C:/ca/client.key"
CERT_FILE="C:/ca/client.crt"
CA_FILE="c:/ca/ca.crt"
context = ssl.SSLContext(ssl.PROTOCOL_SSLv23)
context.check_hostname = False
context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
context.load_verify_locations(CA_FILE)
context.verify_mode=ssl.CERT_REQUIRED
if __name__ == ‘__main__‘:
req = urllib2.Request(myurl)
try:
response = urllib2.urlopen(req,context=context)
#response = urllib2.urlopen(req)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
五、其它
1、context.load_cert_chain(certfile=CERT_FILE,keyfile=KEY_FILE)
这个函数可以只提供一个certfile这一个文件,这时要求CERT_FILE里面包括私钥。其实证书文件和私钥文件都是简单的文本文件,你可以把私钥文件的内容复制到证书文件后面,这样你就可以在这个函数里面只提供一个文件了。
2、如何在request对象里面读出客户端信息呢?
所有的客户端信息都可以request对象里面读出,包括客户端的证书信息,看看下面,你所需要的基本都有了
def render_GET(self, request):
print request.content.read()
print request.getAllHeaders()
print request.getClientIP()
print request.getHost()
print request.transport.getPeer()
cl=request.transport.getPeerCertificate()
certificate = ssl.Certificate(cl)
print certificate.getIssuer()
print certificate.getSubject()
3、使用POST方法发送JSON数据
def urllib2_open(myurl):
headers = {‘Content-Type‘: ‘application/json‘}
data={‘test‘:‘hello‘}
req = urllib2.Request(myurl,headers=headers, data=json.dumps(data))
try:
response = urllib2.urlopen(req,context=context)
print "HTTP return code:%d" % response.getcode()
strResult= response.read()
print strResult
except Exception ,ex:
print "Found Error in auth phase:%s" % str(ex)
4、有一个地方我研究的不是特别清楚:默认情况下python是到哪里找权威CA证书的,是在某个文件夹还在通过注册表,还是直接通过操作系统提供的API。
写这么多总算把该写的写完了。之前我只是想用python访问一个HTTPS站点的。但当时很不顺利,不管怎么搞都出现SSLV3_ALERT_HANDSHAKE_FAILURE,当时在网上找了很多类似的解决办法,什么启用SSLV3啊、把加密方式改为ALL啊,另外也用了requests和pycurl等等第三方组件。但所有尝试无一成功。花了我好几天时间。最后终于发现原来这个站点需要双向认证。从这里面感觉自己对SSL了解太少了,走了太多弯路。于是就对SSL好好研究了一下,这才有了上面的内容。这些内容还是比较肤浅,都只限于应用方面,但对我来说足够了。分享给大家,让大家少走我走过的弯路。
以上是关于在python使用SSL(HTTPS)的主要内容,如果未能解决你的问题,请参考以下文章
python3 urllib.requesturlopen 一个https 时ssl证书错误!