memcached安装与应用

Posted 2020-11-02

21.1Nosql介绍

什么是Nosql

非关系型数据库就是NoSQL，关系型数据库代表mysql
对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索
NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
NoSQL数据可以存储在内存里，查询速度非常快
NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库
NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式
常见Nosql数据库

k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。
列存储 Hbase
图 Neo4J、Infinite Graph、OrientDB
21.2memcached介绍

系统环境：centos 7.x86_64

Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
官方站点 http://www.memcached.org/
数据结构简单(k-v)，数据存放在内存里
多线程
基于c/s架构，协议简单
基于libevent的事件处理
自主内存存储处理（slab allowcation)
数据过期方式：Lazy Expiration 和LRU
slab allowcation原理

将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。
Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。
Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。
mark

growth factor

Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。
通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25
命令：# memcached-tool 127.0.0.1:11211 display
memcached数据过期方式

Lazy Expiration
Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。
LRU
Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。
21.3安装memcached

官方版本：
mark

本次实验使用系统自带版本：memcached.x86_64 1.4.15-10.el7_3.1

安装

[[email protected] ~]# yum install -y memcached libmemcached libevent
#memcached依赖于libevent和libmemecached，如果系统没有安装这两个包，需要手动安装。
启动

[[email protected] ~]# systemctl start memcached

[[email protected] ~]# ps aux |grep memcached
memcach+ 2363 0.7 0.2 325556 1192 ? Ssl 16:15 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root 2370 0.0 0.1 112664 972 pts/0 S+ 16:15 0:00 grep --color=auto memcached
说明：
-u：表示指定用户
-p：表示监听端口
-m：表示分配的内存
-c：表示最大并发数
[[email protected] ~]# netstat -lntp |grep memcached
tcp 0 0 0.0.0.0:11211 0.0.0.0: LISTEN 2363/memcached
tcp6 0 0 :::11211 ::: LISTEN 2363/memcached
memcached启动参数配置：

[[email protected] ~]# vim /etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""
说明： OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。

21.4 查看memcached的状态

方法1：
[[email protected] ~]# memcached-tool 127.0.0.1:11211 stats

方法2：（前提是安装了libmemcached包）
[[email protected] ~]# memstat --servers=127.0.0.1:11211

方法3：
[[email protected] ~]# telnet 127.0.0.1 11211
#连接memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
stats
#查看memcached的状态
STAT pid 1277 （进程ID）
STAT uptime 176145 （服务器运行秒数,秒）
STAT time 1448592684 （服务器当前unix时间戳）
STAT version 1.4.15 （服务器版本）
STAT libevent 2.0.21-stable
STAT pointer_size 64 （操作系统字大小 32/64位）
STAT rusage_user 3.869494 （进程累计用户时间，秒）
STAT rusage_system 4.636292 （进程累计系统时间，秒）
STAT curr_connections 11 （当前打开连接数）
STAT total_connections 21 （曾打开的连接总数）
STAT connection_structures 12 （服务器分配的连接结构数）
STAT reserved_fds 20
STAT cmd_get 483 （执行get命令总数）
STAT cmd_set 144 （执行set命令总数）
STAT cmd_flush 0 （指向flush_all命令总数）
STAT cmd_touch 0
STAT get_hits 369 （get命中次数）
STAT get_misses 114 （get未命中次数）
STAT delete_misses 0 （delete未命中次数）
STAT delete_hits 0 （delete命中次数）
STAT incr_misses 0 （incr未命中次数）
STAT incr_hits 0 （incr命中次数）
STAT decr_misses 0 （decr未命中次数）
STAT decr_hits 0 （decr命中次数）
STAT cas_misses 0 （cas未命中次数）
STAT cas_hits 0 （cas命中次数）
STAT cas_badval 0 （使用擦拭次数）
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 82819 （读取字节总数）
STAT bytes_written 104266 （写入字节总数）
STAT limit_maxbytes 67108864 （分配的内存数（字节））
STAT accepting_conns 1 （目前接受的连接数）
STAT listen_disabled_num 0
STAT threads 4 （线程数）
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 4789 （存储item字节数）
STAT curr_items 20 （item个数）
STAT total_items 144 （item总数）
STAT expired_unfetched 15
STAT evicted_unfetched 0
STAT evictions 0 （获取空间删除item的总数）
STAT reclaimed 36
END
quit
#退出
Connection closed by foreign host.
说明： 需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。

使用nc命令查看memcached状态

[[email protected] ~]# yum install -y nc
[[email protected] ~]# echo stats |nc 127.0.0.1 11211
21.5 memcached命令行

[[email protected] ~]# telnet 127.0.0.1 11211
#连接到memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
###按Ctrl+]或者输入quit可以退出
set adai 0 30 2
#添加数据
ab
STORED
说明：
adai：键值名称；
0：标记，记录额外信息
30：数据保留时长
2：数据长度（字符数）

get adai
#查看数据
VALUE adai 0 2
ab
END
注： 进入memcached后可以使用Ctrl+backspace键逐个删除当前行数据，Ctrl+u一次性清除当前行数据。

memcached语法规则

command name set/add/replace
key 查找关键字
flags 客户机使用它存储关于键值对的额外信息（标记）
exptime 该数据的存活时间，0表示永远
bytes 存储字节数
data block 存储的数据块（可直接理解为key-value结构中的value）
格式： < command name > < key > < flags > < expiretime > < bytes >\r\n < data block >\r\n

<command name> 可以是"set", "add", "replace"
"set"表示按照相应的<key>存储该数据，没有的时候增加，有的覆盖
"add"表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败
"replace"表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败
<key> 客户端需要保存数据的key
<flags> 是一个16位的无符号的整数(以十进制的方式表示)
该标志将和需要存储的数据一起存储,并在客户端get数据时返回
客户可以将此标志用做特殊用途，此标志对服务器来说是不透明的
<exptime> 过期的时间
若为0表示存储的数据永远不过时(但可被服务器算法：LRU 等替换)
如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)
<bytes> 需要存储的字节数(不包含最后的"\r\n"),当用户希望存储空数据时,<bytes>可以为0
最后客户端需要加上"\r\n"作为"命令头"的结束标志（=Enter）。
<data block>：要存储的内容（在上述参数设置完毕后，enter后再输入数据）
示例：

set key1 0 0 2
12
STORED
添加一个数据
get key1
VALUE key1 0 2
12
END
#查看数据
delete key1 0
DELETED
#删除一个数据
get key1
END
quit
Connection closed by foreign host.

[[email protected] ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
set adai 0 0 3
123
STORED
get adai
VALUE adai 0 3
123
END
replace adai 2 200 5
12345
STORED
#更改数据
get adai
VALUE adai 2 5
12345
END

quit
Connection closed by foreign host.

查看数据状态：
[[email protected] ~]# memcached-tool 127.0.0.1:11211 display

Item_Size Max_age Pages Count Full? Evicted Evict_Time OOM

1 96B 22s 1 1 yes 0 0 0
#Item_Size项目大小（类似于块的概念），该列以递增的形式显示
注： 某数据超出其expire time之后该数据就会消失，如果expire time=0，表示永不失效，可使用LRU等算法替换该数据。

21.6 memcached数据导出和导入

因为memcached数据不能持久化（重启memcached服务数据会丢失），所以在重启服务之前最好将其中的数据导出，待重启完毕后再将数据导入memcached，防止数据丢失。

数据导出

准备数据：

[[email protected] ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
set name 1 0 4
adai
STORED
set age 1 0 2
26
STORED
set weight 1 0 2
80
set high 1 0 3
180
STORED
^]
telnet> quit
Connection closed.
查看数据状态：

[[email protected] ~]# memstat --servers=127.0.0.1:11211
curr_items: 4
即，当前有4个项目。

导出数据：

[[email protected] ~]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak
Dumping memcache contents
Number of buckets: 1
Number of items : 4
Dumping bucket 1 - 4 total items

[[email protected] ~]# cat /tmp/memdata.bak
add high 1 1506759339 3
180
add name 1 1506759339 4
adai
add weight 1 1506759339 2
80
add age 1 1506759339 2
26
导入数据

[[email protected] ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
NOT_STORED
NOT_STORED
NOT_STORED
NOT_STORED
#数据已经存在，所以无法导入。

[[email protected] ~]# systemctl restart memcached

[[email protected] ~]# date -d "+1 hour" +%s
1506768265
#获取1小时后的时间戳，
#将memdata.bak中的时间戳更改为该值

[[email protected] ~]# vim /tmp/memdata.bak
add high 1 1506768265 3
180
add name 1 1506768265 4
adai
add weight 1 1506768265 2
80
add age 1 10000000 2
26

[[email protected] ~]# nc 127.0.0.1 11211 < /tmp/memdata.bak
STORED
STORED
STORED
STORED

[[email protected] ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
get name
VALUE name 1 4
adai
END
get age
END
get high
VALUE high 1 3
180
END
get weight
VALUE weight 1 2
80
END
注： 导出的数据是带有一个时间戳的，这个时间戳就是该条数据过期的时间点，如果数据已经存在或者当前时间已经过了这个时间点，数据将无法成功导入。

21.7 php连接memcached

使用PHP连接memcached需要先编译安装PHP的memcached扩展模块。（本机之前已经安装过PHP，所以直接重新编译，如果是首次安装，需要下载安装包。）

[[email protected] src]# pwd
/usr/local/src

下载模块：
[[email protected] src]# wget http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz

[[email protected] src]# tar -zxvf memcache-2.2.3.tgz

[[email protected] src]# cd memcache-2.2.3/

[[email protected] memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
报错：
Cannot find autoconf. Please check your autoconf installation and the
$PHP_AUTOCONF environment variable. Then, rerun this script.
即，缺少autoconf。。此时无法生产configure文件

[[email protected] memcache-2.2.3]# yum install -y autoconf

[[email protected] memcache-2.2.3]# /usr/local/php-fpm/bin/phpize
搞定！！

编译：
[[email protected] memcache-2.2.3]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config
[[email protected] memcache-2.2.3]# echo $?
0

[[email protected] memcache-2.2.3]# make && make install
Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/

[[email protected] memcache-2.2.3]# ls /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
memcache.so
即，生成memcache.so模块文件。

加载模块：
[[email protected] memcache-2.2.3]# vim /usr/local/php-fpm/etc/php.ini
添加如下参数：
extension=memcache.so

[[email protected] memcache-2.2.3]# /usr/local/php-fpm/sbin/php-fpm -m
memcache
即，memcache模块加载成功！

测试

下载测试脚本，查看PHP是否支持memcache扩展。

测试脚本内容如下：
[[email protected] src]# vim 1.php
<?php
//连接Memcache Memcache
$mem = new Memcache;
$mem->connect("localhost", 11211);
//保存数据
$mem->set(‘key1‘, ‘This is first value‘, 0, 60);
$val = $mem->get(‘key1‘);
echo "Get key1 value: " . $val ."<br>";
//替换数据
$mem->replace(‘key1‘, ‘This is replace value‘, 0, 60);
$val = $mem->get(‘key1‘);
echo "Get key1 value: " . $val . "<br>";
//保存数组数据
$arr = array(‘aaa‘, ‘bbb‘, ‘ccc‘, ‘ddd‘);
$mem->set(‘key2‘, $arr, 0, 60);
$val2 = $mem->get(‘key2‘);
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//删除数据
$mem->delete(‘key1‘);
$val = $mem->get(‘key1‘);
echo "Get key1 value: " . $val . "<br>";
//清除所有数据
$mem->flush();
$val2 = $mem->get(‘key2‘);
echo "Get key2 value: ";
print_r($val2);
echo "<br>";
//关闭连接
$mem->close();
?>
测试：

[[email protected] src]# /usr/local/php-fpm/bin/php 1.php
Get key1 value: This is first value<br>Get key1 value: This is replace value<br>Get key2 value: Array
(
[0] => aaa
[1] => bbb
[2] => ccc
[3] => ddd
)
<br>Get key1 value: <br>Get key2 value: <br>
该情况说明配置成功！

21.8 memcached中存储session

更改session存贮位置（memcached）。

session测试

以下为更改存储位置前，session文件的错处位置：

测试脚本内容如下：
[[email protected] ~]# cat .mem_se.txt
<?php
session_start();
if (!isset($_SESSION[‘TEST‘])) {
$_SESSION[‘TEST‘] = time();
}
$_SESSION[‘TEST3‘] = time();
print $_SESSION[‘TEST‘];
print "<br><br>";
print $_SESSION[‘TEST3‘];
print "<br><br>";
print session_id();
?>

将该脚本放到当前机器默认站点的根目录/data/wwwroot/www：
[[email protected] ~]# cd /data/wwwroot/www
[[email protected] www]# mv /root/.mem_se.txt 1.php
#进行移动并重命名

执行如下命令：
[[email protected] www]# curl localhost/1.php
1506768299<br><br>1506768299<br><br>pcqf6d4r4sjeede4nkpvjni9n6
##此时存储了一个session

[[email protected] www]# ls /tmp/
sess_pcqf6d4r4sjeede4nkpvjni9n6
##该文件为执行上面命令生成的session文件
更改session存储路径

方法1：

[[email protected] ~]# vim /usr/local/php-fpm/etc/php.ini
;session.save_handler = files
默认情况值为files，存放在/tmp/下
session.save_handler = memcache
##指定存储类型
session.save_path = "tcp://192.168.8.131:11211"
##指定memcached服务器的IP和端口

重启php服务：
[[email protected] www]# /etc/init.d/php-fpm restart
Gracefully shutting down php-fpm . done
Starting php-fpm done

删除/tmp/下原因的session文件：
[[email protected] www]# rm -rf /tmp/sess*

在此创建session:
[[email protected] www]# curl localhost/1.php
1506769084<br><br>1506769084<br><br>qe73bqse8rmckfchgb7j5b8ba6
###注：此处最后面的值为key

查看session信息：
[[email protected] www]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
get qe73bqse8rmckfchgb7j5b8ba6
VALUE qe73bqse8rmckfchgb7j5b8ba6 0 37
TEST|i:1506769084;TEST3|i:1506769084;
END

如果无法看到session数据的键值，
就无法直接在memcached中查看，
解决办法是将memcached数据导出：
[[email protected] www]# memcached-tool 127.0.0.1:11211 dump > /tmp/memdata.bak

[[email protected] www]# cat /tmp/memdata.bak
add qe73bqse8rmckfchgb7j5b8ba6 0 1506770524 37
TEST|i:1506769084;TEST3|i:1506769084;
成功！

方法2：

在httpd.conf中定义session的保存路径：

php_value session.save_handler "memcache"
php_value session.save_path "tcp://192.168.8.130:11211"
方法3：

在php-fpm.conf对应的pool中定义session的保存路径：

php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.8.130:11211 "