nginx lua mysql 设置

Posted 大爱无情的技术博客

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了nginx lua mysql 设置相关的知识，希望对你有一定的参考价值。

最近公司网站改版，程序和数据库全部用新版，旧版的数据要导入，旧网站的30万条数据url要全部重定向到新版网站，正好前段时间在学习nginx+lua+mysql+memcache（redis），找资料真费劲，记录下来，以备查询

对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。

一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。

 

Redis客户端

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端，通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-redis。

 

在测试之前请启动Redis实例：

nohup /usr/servers/redis-2.8.19/src/redis-server  /usr/servers/redis-2.8.19/redis_6660.conf &

 

1、基本操作

 

编辑test_redis_baisc.lua

Java代码  
  1. local function close_redis(red)  
  2.     if not red then  
  3.         return  
  4.     end  
  5.     local ok, err = red:close()  
  6.     if not ok then  
  7.         ngx.say("close redis error : ", err)  
  8.     end  
  9. end  
  10.   
  11. local redis = require("resty.redis")  
  12.   
  13. --创建实例  
  14. local red = redis:new()  
  15. --设置超时（毫秒）  
  16. red:set_timeout(1000)  
  17. --建立连接  
  18. local ip = "127.0.0.1"  
  19. local port = 6660  
  20. local ok, err = red:connect(ip, port)  
  21. if not ok then  
  22.     ngx.say("connect to redis error : ", err)  
  23.     return close_redis(red)  
  24. end  
  25. --调用API进行处理  
  26. ok, err = red:set("msg", "hello world")  
  27. if not ok then  
  28.     ngx.say("set msg error : ", err)  
  29.     return close_redis(red)  
  30. end  
  31.   
  32. --调用API获取数据  
  33. local resp, err = red:get("msg")  
  34. if not resp then  
  35.     ngx.say("get msg error : ", err)  
  36.     return close_reedis(red)  
  37. end  
  38. --得到的数据为空处理  
  39. if resp == ngx.null then  
  40.     resp = ‘‘  --比如默认值  
  41. end  
  42. ngx.say("msg : ", resp)  
  43.   
  44. close_redis(red)  

基本逻辑很简单，要注意此处判断是否为nil，需要跟ngx.null比较。

 

2、example.conf配置文件

Java代码  
  1.  location /lua_redis_basic {  
  2.     default_type ‘text/html‘;  
  3.     lua_code_cache on;  
  4.     content_by_lua_file /usr/example/lua/test_redis_basic.lua;  
  5. }  

  

3、访问如http://192.168.1.2/lua_redis_basic进行测试，正常情况得到如下信息

msg : hello world

 

2、连接池

建立TCP连接需要三次握手而释放TCP连接需要四次握手，而这些往返时延仅需要一次，以后应该复用TCP连接，此时就可以考虑使用连接池，即连接池可以复用连接。

我们只需要将之前的close_redis函数改造为如下即可： 

Java代码  
  1. local function close_redis(red)  
  2.     if not red then  
  3.         return  
  4.     end  
  5.     --释放连接(连接池实现)  
  6.     local pool_max_idle_time = 10000 --毫秒  
  7.     local pool_size = 100 --连接池大小  
  8.     local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  
  9.     if not ok then  
  10.         ngx.say("set keepalive error : ", err)  
  11.     end  
  12. end  

即设置空闲连接超时时间防止连接一直占用不释放；设置连接池大小来复用连接。

 

此处假设调用red:set_keepalive()，连接池大小通过nginx.conf中http部分的如下指令定义：

#默认连接池大小，默认30

lua_socket_pool_size 30;

#默认超时时间,默认60s

lua_socket_keepalive_timeout 60s;

 

注意：

1、连接池是每Worker进程的，而不是每Server的；

2、当连接超过最大连接池大小时，会按照LRU算法回收空闲连接为新连接使用；

3、连接池中的空闲连接出现异常时会自动被移除；

4、连接池是通过ip和port标识的，即相同的ip和port会使用同一个连接池（即使是不同类型的客户端如Redis、Memcached）；

5、连接池第一次set_keepalive时连接池大小就确定下了，不会再变更；

5、cosocket的连接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

 

3、pipeline

pipeline即管道，可以理解为把多个命令打包然后一起发送；MTU（Maxitum Transmission Unit 最大传输单元）为二层包大小，一般为1500字节；而MSS（Maximum Segment Size 最大报文分段大小）为四层包大小，其一般是1500-20（IP报头）-20（TCP报头）=1460字节；因此假设我们执行的多个Redis命令能在一个报文中传输的话，可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应，而Redis协议也能很简单的识别和解决粘包。

 

1、修改之前的代码片段

Java代码  
  1. red:init_pipeline()  
  2. red:set("msg1", "hello1")  
  3. red:set("msg2", "hello2")  
  4. red:get("msg1")  
  5. red:get("msg2")  
  6. local respTable, err = red:commit_pipeline()  
  7.   
  8. --得到的数据为空处理  
  9. if respTable == ngx.null then  
  10.     respTable = {}  --比如默认值  
  11. end  
  12.   
  13. --结果是按照执行顺序返回的一个table  
  14. for i, v in ipairs(respTable) do  
  15.    ngx.say("msg : ", v, "<br/>")  
  16. end  

通过init_pipeline()初始化，然后通过commit_pipieline()打包提交init_pipeline()之后的Redis命令；返回结果是一个lua table，可以通过ipairs循环获取结果；

 

2、配置相应location，测试得到的结果

msg : OK
msg : OK
msg : hello1
msg : hello2

 

 

3、Redis Lua脚本

利用Redis单线程特性，可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现：

1、直接eval：

Java代码  
  1. local resp, err = red:eval("return redis.call(‘get‘, KEYS[1])", 1, "msg");   

2、script load然后evalsha  SHA1 校验和，这样可以节省脚本本身的服务器带宽：

Java代码  
  1. local sha1, err = red:script("load",  "return redis.call(‘get‘, KEYS[1])");  
  2. if not sha1 then  
  3.    ngx.say("load script error : ", err)  
  4.    return close_redis(red)  
  5. end  
  6. ngx.say("sha1 : ", sha1, "<br/>")  
  7. local resp, err = red:evalsha(sha1, 1, "msg");  

首先通过script load导入脚本并得到一个sha1校验和（仅需第一次导入即可），然后通过evalsha执行sha1校验和即可，这样如果脚本很长通过这种方式可以减少带宽的消耗。 

 

此处仅介绍了最简单的redis lua脚本，更复杂的请参考官方文档学习使用。

 

另外Redis集群分片算法该客户端没有提供需要自己实现，当然可以考虑直接使用类似于Twemproxy这种中间件实现。

Memcached客户端使用方式和本文类似，本文就不介绍了。

 

Mysql客户端

lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端，通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-mysql。

 

1、编辑test_mysql.lua

Java代码  
  1. local function close_db(db)  
  2.     if not db then  
  3.         return  
  4.     end  
  5.     db:close()  
  6. end  
  7.   
  8. local mysql = require("resty.mysql")  
  9. --创建实例  
  10. local db, err = mysql:new()  
  11. if not db then  
  12.     ngx.say("new mysql error : ", err)  
  13.     return  
  14. end  
  15. --设置超时时间(毫秒)  
  16. db:set_timeout(1000)  
  17.   
  18. local props = {  
  19.     host = "127.0.0.1",  
  20.     port = 3306,  
  21.     database = "mysql",  
  22.     user = "root",  
  23.     password = "123456"  
  24. }  
  25.   
  26. local res, err, errno, sqlstate = db:connect(props)  
  27.   
  28. if not res then  
  29.    ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  30.    return close_db(db)  
  31. end  
  32.   
  33. --删除表  
  34. local drop_table_sql = "drop table if exists test"  
  35. res, err, errno, sqlstate = db:query(drop_table_sql)  
  36. if not res then  
  37.    ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  38.    return close_db(db)  
  39. end  
  40.   
  41. --创建表  
  42. local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"  
  43. res, err, errno, sqlstate = db:query(create_table_sql)  
  44. if not res then  
  45.    ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  46.    return close_db(db)  
  47. end  
  48.   
  49. --插入  
  50. local insert_sql = "insert into test (ch) values(‘hello‘)"  
  51. res, err, errno, sqlstate = db:query(insert_sql)  
  52. if not res then  
  53.    ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  54.    return close_db(db)  
  55. end  
  56.   
  57. res, err, errno, sqlstate = db:query(insert_sql)  
  58.   
  59. ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")  
  60.   
  61. --更新  
  62. local update_sql = "update test set ch = ‘hello2‘ where id =" .. res.insert_id  
  63. res, err, errno, sqlstate = db:query(update_sql)  
  64. if not res then  
  65.    ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  66.    return close_db(db)  
  67. end  
  68.   
  69. ngx.say("update rows : ", res.affected_rows, "<br/>")  
  70. --查询  
  71. local select_sql = "select id, ch from test"  
  72. res, err, errno, sqlstate = db:query(select_sql)  
  73. if not res then  
  74.    ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  75.    return close_db(db)  
  76. end  
  77.   
  78.   
  79. for i, row in ipairs(res) do  
  80.    for name, value in pairs(row) do  
  81.      ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
  82.    end  
  83. end  
  84.   
  85. ngx.say("<br/>")  
  86. --防止sql注入  
  87. local ch_param = ngx.req.get_uri_args()["ch"] or ‘‘  
  88. --使用ngx.quote_sql_str防止sql注入  
  89. local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)  
  90. res, err, errno, sqlstate = db:query(query_sql)  
  91. if not res then  
  92.    ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  93.    return close_db(db)  
  94. end  
  95.   
  96. for i, row in ipairs(res) do  
  97.    for name, value in pairs(row) do  
  98.      ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
  99.    end  
  100. end  
  101.   
  102. --删除  
  103. local delete_sql = "delete from test"  
  104. res, err, errno, sqlstate = db:query(delete_sql)  
  105. if not res then  
  106.    ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  107.    return close_db(db)  
  108. end  
  109.   
  110. ngx.say("delete rows : ", res.affected_rows, "<br/>")  
  111.   
  112.   
  113. close_db(db)  

 

对于新增/修改/删除会返回如下格式的响应：

Java代码  
  1. {  
  2.     insert_id = 0,  
  3.     server_status = 2,  
  4.     warning_count = 1,  
  5.     affected_rows = 32,  
  6.     message = nil  
  7. }  

affected_rows表示操作影响的行数，insert_id是在使用自增序列时产生的id。

 

对于查询会返回如下格式的响应：

Java代码  
  1. {  
  2.     { id= 1, ch= "hello"},  
  3.     { id= 2, ch= "hello2"}  
  4. }  

null将返回ngx.null。

 

2、example.conf配置文件

Java代码  
  1. location /lua_mysql {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_mysql.lua;  
  5. }  
 

3、访问如http://192.168.1.2/lua_mysql?ch=hello进行测试，得到如下结果

Java代码  
  1. insert rows : 1 , id : 2  
  2. update rows : 1  
  3. select row 1 : ch = hello  
  4. select row 1 : id = 1  
  5. select row 2 : ch = hello2  
  6. select row 2 : id = 2  
  7. select row 1 : ch = hello  
  8. select row 1 : id = 1  
  9. delete rows : 2  

客户端目前还没有提供预编译SQL支持（即占位符替换位置变量），这样在入参时记得使用ngx.quote_sql_str进行字符串转义，防止sql注入；连接池和之前Redis客户端完全一样就不介绍了。

 

对于Mysql客户端的介绍基本够用了，更多请参考https://github.com/openresty/lua-resty-mysql。

 

其他如MongoDB等数据库的客户端可以从github上查找使用。

 

Http客户端

OpenResty默认没有提供Http客户端，需要使用第三方提供；当然我们可以通过ngx.location.capture 去方式实现，但是有一些限制，后边我们再做介绍。

 

我们可以从github上搜索相应的客户端，比如https://github.com/pintsized/lua-resty-http。

 

lua-resty-http

 

1、下载lua-resty-http客户端到lualib 

Java代码  
  1. cd /usr/example/lualib/resty/  
  2. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua  
  3. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua  
 

2、test_http_1.lua

Java代码  
  1. local http = require("resty.http")  
  2. --创建http客户端实例  
  3. local httpc = http.new()  
  4.   
  5. local resp, err = httpc:request_uri("http://s.taobao.com", {  
  6.     method = "GET",  
  7.     path = "/search?q=hello",  
  8.     headers = {  
  9.         ["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"  
  10.     }  
  11. })  
  12.   
  13. if not resp then  
  14.     ngx.say("request error :", err)  
  15.     return  
  16. end  
  17.   
  18. --获取状态码  
  19. ngx.status = resp.status  
  20.   
  21. --获取响应头  
  22. for k, v in pairs(resp.headers) do  
  23.     if k ~= "Transfer-Encoding" and k ~= "Connection" then  
  24.         ngx.header[k] = v  
  25.     end  
  26. end  
  27. --响应体  
  28. ngx.say(resp.body)  
  29.   
  30. httpc:close()  

 

响应头中的Transfer-Encoding和Connection可以忽略，因为这个数据是当前server输出的。

 

3、example.conf配置文件

Java代码  
  1. location /lua_http_1 {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_http_1.lua;  
  5. }  
4、在nginx.conf中的http部分添加如下指令来做DNS解析
Java代码  
  1. resolver 8.8.8.8;  
记得要配置DNS解析器resolver 8.8.8.8，否则域名是无法解析的。
5、访问如http://192.168.1.2/lua_http_1会看到淘宝的搜索界面。

使用方式比较简单，如超时和连接池设置和之前Redis客户端一样，不再阐述。更多客户端使用规则请参考https://github.com/pintsized/lua-resty-http。

 

ngx.location.capture

ngx.location.capture也可以用来完成http请求，但是它只能请求到相对于当前nginx服务器的路径，不能使用之前的绝对路径进行访问，但是我们可以配合nginx upstream实现我们想要的功能。

 

1、在nginx.cong中的http部分添加如下upstream配置

Java代码  
  1. upstream backend {  
  2.     server s.taobao.com;  
  3.     keepalive 100;  
  4. }  

即我们将请求upstream到backend；另外记得一定要添加之前的DNS解析器。

 

2、在example.conf配置如下location

Java代码  
  1. location ~ /proxy/(.*) {  
  2.    internal;  
  3.    proxy_pass http://backend/$1$is_args$args;  
  4. }  

internal表示只能内部访问，即外部无法通过url访问进来； 并通过proxy_pass将请求转发到upstream。

 

3、test_http_2.lua

Java代码  
  1. local resp = ngx.location.capture("/proxy/search", {  
  2.     method = ngx.HTTP_GET,  
  3.     args = {q = "hello"}  
  4.   
  5. })  
  6. if not resp then  
  7.     ngx.say("request error :", err)  
  8.     return  
  9. end  
  10. ngx.log(ngx.ERR, tostring(resp.status))  
  11.   
  12. --获取状态码  
  13. ngx.status = resp.status  
  14.   
  15. --获取响应头  
  16. for k, v in pairs(resp.header) do  
  17.     if k ~= "Transfer-Encoding" and k ~= "Connection" then  
  18.         ngx.header[k] = v  
  19.     end  
  20. end  
  21. --响应体  
  22. if resp.body then  
  23.     ngx.say(resp.body)  
  24. end  

通过ngx.location.capture发送一个子请求，此处因为是子请求，所有请求头继承自当前请求，还有如ngx.ctx和ngx.var是否继承可以参考官方文档http://wiki.nginx.org/HttpLuaModule#ngx.location.capture。 另外还提供了ngx.location.capture_multi用于并发发出多个请求，这样总的响应时间是最慢的一个，批量调用时有用。

 

4、example.conf配置文件

Java代码  
  1. location /lua_http_2 {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_http_2.lua;  
  5. }  

 

5、访问如http://192.168.1.2/lua_http_2进行测试可以看到淘宝搜索界面。

 

我们通过upstream+ngx.location.capture方式虽然麻烦点，但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。

 

不过因为继承在当前请求的请求头，所以可能会存在一些问题，比较常见的就是gzip压缩问题，ngx.location.capture不会解压缩后端服务器的GZIP内容，解决办法可以参考https://github.com/openresty/lua-nginx-module/issues/12；因为我们大部分这种http调用的都是内部服务，因此完全可以在proxy location中添加proxy_pass_request_headers off;来不传递请求头。

以上是关于nginx lua mysql 设置的主要内容，如果未能解决你的问题，请参考以下文章

lua保存缓存中文件

nginx中lua主动设置Content-Length

使用 lua 模块在 nginx 中将 endpath 设为小写

MySQL主从（MySQL proxy Lua读写分离设置，一主多从同步配置，分库分表方案）

MySQL主从（MySQL proxy Lua读写分离设置，一主多从同步配置，分库分表方案）

openresty（nginx+lua）初识