tornado之异步web服务一

Posted 2020-10-19 一张红枫叶

大部分Web应用（包括我们之前的例子）都是阻塞性质的，也就是说当一个请求被处理时，这个进程就会被挂起直至请求完成。在大多数情况下，Tornado处理的Web请求完成得足够快使得这个问题并不需要被关注。然而，对于那些需要一些时间来完成的操作（像大数据库的请求或外部API），这意味着应用程序被有效的锁定直至处理结束，很明显这在可扩展性上出现了问题。

不过tornado给了我们更好的方法来处理这种情况。应用程序在等待第一个处理完成的过程中，让I/O循环打开以便服务于其他客户端，直到处理完成时启动一个请求并给予反馈，而不再是等待请求完成的过程中挂起进程。

我们首先构造一个阻塞性质的例子来看下：

在这个例子中我们首先需要实例化一个HTTPClient类，然后调用对象的fetch方法。通过fetch方法我们构建一个URLL来抓取阿里云根据地区名获取经纬度接口。网站会返回一个json的结果，我们将这个json结果呈现在我们的网页上

通过阿里云查询成都的经纬度

我们的代码构造如下：

通过获取网页传递的参数a来得到从查询的城市，并且构造完整的URL。response获取到网页反馈的信息并且反馈到网页上

 

class indexHandler(tornado.web.RequestHandler):

    def get(self, *args, **kwargs):

        query=self.get_argument(\'a\').encode(\'utf-8\')

 

        client=tornado.httpclient.HTTPClient()

        response=client.fetch("http://gc.ditu.aliyun.com/geocoding?"+urllib.urlencode({\'a\':query}))

        body=json.loads(response.body)

        self.write(response.body)

得到的结果如下。

从tornado的后台打印中看到整个的响应时延是96.78ms.

[I 171231 14:44:18 web:2063] 200 GET /?a=%E6%88%90%E9%83%BD (127.0.0.1) 96.78ms

 

到这里，我们已经编写了一个请求阿里云反馈城市经纬的应用。但是只有一个请求也就是可以认为是单线程应用，如果我们有多个请求的时候，性能会如何呢？

我们需要使用一个测试工具来测试大量请求的时候性能表现。这里我们用到siege工具进行测试。使用方法很简单：

siege http://127.0.0.1:8000/?a=成都 -c10 -t10s

 

参数的解释如下：-c代表的是设置的同时并发的用户数。

       -c NUM, --concurrent=NUM

           This option allows you to set the concurrent number of users. The

           total number of users is technically limited to your computer\'s

           resources.

 

           You should not configure more users than your web server is

           configured to handle. For example, the default apache configuration

           is capped at 255 threads. If you run siege with -c 1024, then 769

           siege users are left waiting for an apache handler.

 

           For this reason, the default siege configuration is capped at 255

           users.  You can increase that number inside s

-t代表的是测试运行的时间，-t10s代表运行10秒的意思

-t NUMm, --time=NUMm

           This option is similar to --reps but instead of specifying the

           number of times each user should run, it specifies the amount of

           time each should run.

 

           The value format is "NUMm", where "NUM" is an amount of time and

           the "m" modifier is either S, M, or H for seconds, minutes and

           hours. To run siege for an hour, you could select any one of the

           following combinations: -t3600S, -t60M, -t1H.  The modifier is not

           case sensitive, but it does require no space between the number and

           itself.

 

执行结果如下：可以看到成功发送请求65次。不到10秒的时间平均响应时间达到了1.03m秒，

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8000/?a=成都 -c10 -t10s

** SIEGE 4.0.2

** Preparing 10 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:           65 hits

Availability:        74.71 %

Elapsed time:         9.27 secs

Data transferred:         0.01 MB

Response time:         1.03 secs

Transaction rate:         7.01 trans/sec

Throughput:         0.00 MB/sec

Concurrency:         7.21

Successful transactions:          65

Failed transactions:           22

Longest transaction:         1.40

Shortest transaction:         0.47

我们加大同时复用的次数：在这里设置为20个并发用法。可以看到平均相应时间直接翻倍成2.29秒

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8000/?a=成都 -c20 -t10s

** SIEGE 4.0.2

** Preparing 20 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:           70 hits

Availability:        76.92 %

Elapsed time:         9.89 secs

Data transferred:         0.01 MB

Response time:         2.29 secs

Transaction rate:         7.08 trans/sec

Throughput:         0.00 MB/sec

Concurrency:        16.22

Successful transactions:          70

Failed transactions:           21

Longest transaction:         2.56

Shortest transaction:         0.10

如果将并发次数继续往上抬升可以看到响应时间跟随一起增加。当我们增加到100个用户的时候，平均响应时间变成了6.12秒。

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8000/?a=成都 -c100 -t10s

** SIEGE 4.0.2

** Preparing 100 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:           71 hits

Availability:        78.02 %

Elapsed time:         9.49 secs

Data transferred:         0.01 MB

Response time:         6.12 secs

Transaction rate:         7.48 trans/sec

Throughput:         0.00 MB/sec

Concurrency:        45.77

Successful transactions:          71

Failed transactions:           20

Longest transaction:         9.39

Shortest transaction:         0.16

这种增长的速度对于同时大量用户在线访问的时候肯定是无法接收的。幸运的是，Tornado包含一个AsyncHTTPClient类，可以执行异步HTTP请求。代码修改如下。首先使用tornado.web.asynchronous装饰器并在fetch增加回调函数。这个回调函数将在HTTP请求完成时被调用。并用response作为参数。

class indexHandler(tornado.web.RequestHandler):

    @tornado.web.asynchronous

    def get(self, *args, **kwargs):

        query=self.get_argument(\'a\').encode(\'utf-8\')

 

        client=tornado.httpclient.AsyncHTTPClient()

        response=client.fetch("http://gc.ditu.aliyun.com/geocoding?"+urllib.urlencode({\'a\':query}),callback=self.on_response)

    def on_response(self,response):

        body=json.loads(response.body)

        self.write(response.body)

        self.finish()

 

我们来看下性能如何：同样设置-c10 -t10s。响应时间从之前的1.03秒下降到0.19秒。总共传输的次数以及每秒传输的次数也增加

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8003/?a=成都 -c10 -t10s

** SIEGE 4.0.2

** Preparing 10 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:          211 hits

Availability:       100.00 %

Elapsed time:         9.36 secs

Data transferred:         0.00 MB

Response time:         0.19 secs

Transaction rate:        22.54 trans/sec

Throughput:         0.00 MB/sec

Concurrency:         4.39

Successful transactions:         211

Failed transactions:            0

Longest transaction:         0.25

Shortest transaction:         0.17

并发20个用户的时候，响应时间从2.29秒下降为0.22秒

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8003/?a=成都 -c20 -t10s

** SIEGE 4.0.2

** Preparing 20 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:          389 hits

Availability:       100.00 %

Elapsed time:         9.23 secs

Data transferred:         0.01 MB

Response time:         0.22 secs

Transaction rate:        42.15 trans/sec

Throughput:         0.00 MB/sec

Concurrency:         9.38

Successful transactions:         389

Failed transactions:            0

Longest transaction:         0.44

Shortest transaction:         0.1

并发100个用户的时候，响应时间从6.12变成了1.99秒。且成功传输次数增长到了362次

root@zhf-maple:/home/zhf/桌面# siege http://127.0.0.1:8003/?a=成都 -c100 -t10s

** SIEGE 4.0.2

** Preparing 100 concurrent users for battle.

The server is now under siege...

Lifting the server siege...

Transactions:          362 hits

Availability:       100.00 %

Elapsed time:         9.19 secs

Data transferred:         0.01 MB

Response time:         1.99 secs

Transaction rate:        39.39 trans/sec

Throughput:         0.00 MB/sec

Concurrency:        78.53

Successful transactions:         362

Failed transactions:            0

Longest transaction:         3.26

Shortest transaction:         0.21

从这里可以看到，并发带来的性能提升是巨大的。特别是在多用户同时访问的情下。下一章将介绍并发的原理。