Memcached在企业中的应用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Memcached在企业中的应用相关的知识,希望对你有一定的参考价值。

Memcached简介

Memcached是一个自由开源的,高性能,分布式内存对象缓存系统。

Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。

Memcached是一种基于内存的key-value存储,用来存储小块的任意数据(字符串、对象)。这些数据可以是数据库调用、API调用或者是页面渲染的结果。

Memcached简洁而强大。它的简洁设计便于快速开发,减轻开发难度,解决了大数据量缓存的很多问题。它的API兼容大部分流行的开发语言。

本质上,它是一个简洁的key-value存储系统。

一般的使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展性。

特征

memcached作为高速运行的分布式缓存服务器,具有以下的特点。

  • 协议简单
  • 基于libevent的事件处理
  • 内置内存存储方式
  • memcached不互相通信的分布式

Memcached在企业中架构应用的位置

第一个作为数据库的内容缓存
第二个作为集群节点会话共享
那么架构上讲可以分为三层前端用户层 中间应用程序层,后面就是数据存储层,那么当数据通过互联网到达机房之后会先找负载均衡器,负载均衡器请求web服务器,假如是浏览一篇博文,那么web服务器先找内存缓存,如果内存缓存没有,那么会把请求转发到数据库,从数据库读完之后,再把数据放到内存一份,第二个用户再访问的时候就先访问缓存,就不会找数据库了,那么数据库的压力就降下来了,这就是内存缓存的作用。
CDN服务 ,就是一个分布式缓存系统,当用户请求图片的时候会先找CDN,CDN有就直接给用户访问了,大幅度的减轻网站压力,同时节省带宽。
缓存带来的问题:
客户发一张帖子到数据库里边也缓存到缓存memcached里边,别人访问就访问缓存了,发帖子的人发现我这个内容需要修改下,是先更新数据库,
不是先改缓存,其它用户访问就访问到缓存了,还是老的数据,有一个数据一致性的问题,所以程序员们这样设计,它在更新数据库的时候,它同时发送一个请求告诉memcached,对应的帖子过期了,那么memcached会把过期的数据删除,,会有这么一个机制,那么对于前端包括CDN,我们在更新图片的时候,告诉CND把旧的删除,但是对于图片来讲很少有更改的操作,它的更改是更改文件名操作上传,对于CDN来讲是不同的数据。


session保持不管是nginx还是apache只要用php,默认情况下会放在/tmp目录下,是在php.ini中指定的。
对于不同的服务器来讲,每个web服务器都放在自己的tmp下,早期会把会话保持到tmpfs文件系统里。
那么在php.ini里边可以用IP加端口指定会话保持

在企业工作当中memcached缓存重启数据全丢,假如数据丢了,数据库压力暴大
假如缓存每秒8000并发,数据库并发1000,一下压到数据库,数据库压力大就会down机,数据库刚要启又down
这种情况叫雪崩效应,这种情况下通常把负载均衡下的web用防火墙禁止对外访问。或者停掉
之后把memcached开启来,通过程序初始化把memcached缓存好,然后慢慢的把web打开。

lvs或者haproxy 做cache的负载均衡
假设缓存把数据a.jpg存储在cache1上,当用户访问a.JPG,如果访问
到cache2上去了,那cache2上没有就找数据库了,那数据库压力不就大嘛,
那缓存有没有了,有,只不过在cache1上,如果缓存把数据b.jpg存储在cache2上
那用户访问被请求到cache1上,那cache1上没有,那也只能找数据库,那这就是一个问题
那在前边负载算法就要指定url算法或者hash了,只要是这张图片只要是这个路径就存储到指定地点。
web集群是每个服务器内容一样的,不一样的放在后端NFS里边了 ,所以web集群可以wrr算法。

memcached应用安装

1. memcached服务端安装
tar xf libevent-1.4.13-stable.tar.gz 
cd libevent-1.4.13-stable
./configure
make
make install

tar xf memcached-1.4.13.tar.gz 
cd memcached-1.4.13
./configure
make
make install
cd ..
[root@TCS tools]# echo "/usr/local/lib" >> /etc/ld.so.conf #配置ld.so.conf路径防止启动出错
[root@TCS tools]# ldconfig 

[root@TCS tools]# which memcached
/usr/local/bin/memcached
[root@TCS tools]# /usr/local/bin/memcached -h   #memcached相关参数
2.memcached启动 [root@TCS tools]# memcached -p 11211 -u root -m 16m -c 10240 -d # -p指定端口,-u 用户,-m 内存大小,-c 最大并发连接数,-d 后台运行 #其它参数: -P 设置保持Memcache的pid文件 -vv 以very vrebose模式启动,调试信息和错误输出到控制台 [root@TCS tools]# lsof -i :11211 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME memcached 13875 root 26u IPv4 20953 0t0 TCP *:memcache (LISTEN) memcached 13875 root 27u IPv6 20954 0t0 TCP *:memcache (LISTEN) memcached 13875 root 28u IPv4 20957 0t0 UDP *:memcache memcached 13875 root 29u IPv6 20958 0t0 UDP *:memcache #memcached的多实例 [root@TCS tools]# memcached -p 11212 -u root -m 16m -c 10240 -d [root@TCS tools]# netstat -lnt|grep 1121 tcp 0 0 0.0.0.0:11211 0.0.0.0:* LISTEN tcp 0 0 0.0.0.0:11212 0.0.0.0:* LISTEN tcp 0 0 :::11211 :::* LISTEN tcp 0 0 :::11212 :::* LISTEN 3. 开机自启动 放到/etc/rc.local中 memcached -p 11212 -u root -m 16m -c 10240 -d 4.写入数据检查结果 a.通过nc写入 [root@TCS tools]# printf "set key008 0 0 10\\r\\noldboy0987\\r\\n"|nc 127.0.0.1 11211 #增加 ,命令的字节是10,后面就要10个字符,否则添加不成功。 STORED [root@TCS tools]# printf "get key008\\r\\n"|nc 127.0.0.1 11211 #查询 VALUE key008 0 10 oldboy0987 END [root@TCS tools]# printf "delete key008\\r\\n"|nc 127.0.0.1 11211 #删除 DELETED [root@TCS tools]# printf "get key008\\r\\n"|nc 127.0.0.1 11211 #查询 END b.通过telnet写数据 [root@TCS tools]# telnet 192.168.179.134 11211 Trying 192.168.179.134... Connected to 192.168.179.134. Escape character is \'^]\'. set key 0 0 10 #写数据 zhousq STORED get key #查询 VALUE key 0 10 zhousq END delete key #删除 DELETED get key END #CTRL+] 退回,然后qujit退出 #建议用第一种,有时telnet会很慢 通过stats可以查看写入数据的状态信息 [root@TCS tools]# printf "stats\\r\\n"|nc 127.0.0.1 11211 STAT pid 14254 STAT uptime 312 STAT time 1461179190 STAT version 1.4.13 STAT libevent 1.4.13-stable STAT pointer_size 64 STAT rusage_user 0.000000 STAT rusage_system 0.015997 STAT curr_connections 10 STAT total_connections 14 STAT connection_structures 11 STAT reserved_fds 20 STAT cmd_get 1 STAT cmd_set 0 STAT cmd_flush 0 STAT cmd_touch 0 STAT get_hits 0 #查询 命中的数量 STAT get_misses 1 #丢失数量 STAT delete_misses 0 STAT delete_hits 0 STAT incr_misses 0 STAT incr_hits 0 STAT decr_misses 0 STAT decr_hits 0 STAT cas_misses 0 STAT cas_hits 0 STAT cas_badval 0 STAT touch_hits 0 STAT touch_misses 0 STAT auth_cmds 0 STAT auth_errors 0 STAT bytes_read 31 STAT bytes_written 1039 STAT limit_maxbytes 16777216 #内存大小 STAT accepting_conns 1 STAT listen_disabled_num 0 STAT threads 4 STAT conn_yields 0 STAT hash_power_level 16 STAT hash_bytes 524288 STAT hash_is_expanding 0 STAT expired_unfetched 0 STAT evicted_unfetched 0 STAT bytes 0 STAT curr_items 0 #往数据库插一条数据就有一条记录 STAT total_items 0 #当前没有记录,因为删除了 STAT evictions 0 STAT reclaimed 0 END 5. 重启数据丢失
(通过简单shell可以让memcache变为持久化存储)
6. memcache客户端安装 tar xf memcache-2.2.5.tgz cd memcache-2.2.5 /application/php/bin/phpize ./configure --with-php-config=/application/php/bin/php-config make make install ls /application/php5.3.27/lib/php/extensions/no-debug-zts-20090626/ 7. 测试 [root@TCS www]# cat test.php <?php $mem = new Memcache; $mem->connect("192.168.179.134", 11211) or die("Could not connect"); $version = $mem->getVersion(); echo "Server\'s version: ".$version."<br/>\\n"; $mem->set(\'testkey\', \'Hello World\', 0, 600) or die("Failed to save data at the memcached server"); echo "Store data in the cache (data will expire in 600 seconds)<br/>\\n"; $get_result = $mem->get(\'testkey\'); echo "$get_result is from memcached server."; ?> #浏览器访问 http://192.168.179.134/test.php 返回结果如下。说明已经测试OK Server\'s version: 1.4.13 Store data in the cache (data will expire in 600 seconds) Hello World is from memcached server. 8.session共享会话存储.在php.ini文件中改为相对应选项 session.save_handler memcache session.save_path tcp://192.168.179.134:11211 把所有web服务器的php.ini改成一样的地址,这样就保持了会话保持 集群架构多服务器同步session的多种方式: 1.lb层可以做会话保持:例如: lvs -p nginx ip_hash hapoxy cookie insert PHP JAVA都可以用 2.软件层,可以做session复制,例如: tomcat ,resin,couchbase 3,session共享,例如: memcached或者其它工具的nosql工具,php常用这个。 4.高并发场景:例如门户网站用cookies或cookies配合session把用户级会话信息缓存在用户本地; 9.memcache 图形管理工具 [root@TCS tools]# tar xf memadmin-1.0.12.tar.gz [root@TCS tools]# mv memadmin /var/html/www/ [root@TCS tools]# /application/apache/bin/apachectl graceful http://192.168.179.134/memadmin/ 默认用户密码 admin:admin 10.内存管理机制的调优
指定1.25组间差距比因子为2时小得多,更适合缓存几百字节的记录。 [root@TCS tools]
# memcached -m 512m -d -u root -c 8192 -f 2 -vv [root@TCS tools]# slab class 1: chunk size 96 perslab 10922 slab class 2: chunk size 192 perslab 5461 slab class 3: chunk size 384 perslab 2730 slab class 4: chunk size 768 perslab 1365 slab class 5: chunk size 1536 perslab 682 slab class 6: chunk size 3072 perslab 341 slab class 7: chunk size 6144 perslab 170 [root@TCS tools]# memcached -m 512m -d -u root -c 8192 -f 1.25 -vv [root@TCS tools]# slab class 1: chunk size 96 perslab 10922 slab class 2: chunk size 120 perslab 8738 slab class 3: chunk size 152 perslab 6898 slab class 4: chunk size 192 perslab 5461 slab class 5: chunk size 240 perslab 4369 slab class 6: chunk size 304 perslab 3449 11.memcachedb和TTSERVER持久化存储,兼容memcached协议。 12.memcached监控 check_me_sh #!/bin/sh [ $# -ne 2 ]&&{ echo "$0 ip port" exit } export oldboy=key export wwwServerIp=$1 export wwwServerPort=$2 cmd="nc $wwwServerIp $wwwServerPort" printf "delete $oldboy\\r\\n" | $cmd >/dev/null 2>&1 sleep 1 printf "set $oldboy 0 0 6\\r\\noldboy\\r\\n"|$cmd >/dev/null 2>&1 if [ `printf "get $oldboy\\r\\n"|$cmd|grep oldboy|wc -l` -eq 1 ] then echo "mc is alive." exit 0 else echo "mc is dead." exit 2 fi

 

以上是关于Memcached在企业中的应用的主要内容,如果未能解决你的问题,请参考以下文章

memcached企业级应用实战

项目课---企业级Memcached服务应用实践

使用Memcached改进Java企业级应用性能:架构和设置

企业做数据缓存是使用Memcached还是选Redis?

有关memcached企业面试案例讲解

memcached面试26题和答案