memcached安装与应用

Posted 2020-11-07

21.1Nosql介绍

什么是Nosql

• 非关系型数据库就是NoSQL，关系型数据库代表mysql
• 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索
• NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。
• NoSQL数据可以存储在内存里，查询速度非常快
• NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

• NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

  常见Nosql数据库

• k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。
• 文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。
• 列存储 Hbase
• 图 Neo4J、Infinite Graph、OrientDB

  21.2memcached介绍

系统环境：centos 7.x86_64

• Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
• 官方站点 http://www.memcached.org/
• 数据结构简单(k-v)，数据存放在内存里
• 多线程
• 基于c/s架构，协议简单
• 基于libevent的事件处理
• 自主内存存储处理（slab allowcation)

• 数据过期方式：Lazy Expiration 和LRU

  slab allowcation原理

• 将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。
• Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I参数来指定。
• Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。
  

growth factor

• Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。
• 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

• 命令：# memcached-tool 127.0.0.1:11211 display

  memcached数据过期方式

• Lazy Expiration
  Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。
• LRU
  • Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

    21.3安装memcached

官方版本：
mark

本次实验使用系统自带版本：memcached.x86_64 1.4.15-10.el7_3.1

安装

[[email protected] ~]# yum install -y memcached libmemcached libevent
#memcached依赖于libevent和libmemecached，如果系统没有安装这两个包，需要手动安装。
启动

[[email protected] ~]# systemctl start memcached

[[email protected] ~]# ps aux |grep memcached
memcach+ 2363 0.7 0.2 325556 1192 ? Ssl 16:15 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root 2370 0.0 0.1 112664 972 pts/0 S+ 16:15 0:00 grep --color=auto memcached
说明：
-u：表示指定用户
-p：表示监听端口
-m：表示分配的内存
-c：表示最大并发数
[[email protected] ~]# netstat -lntp |grep memcached
tcp 0 0 0.0.0.0:11211 0.0.0.0: LISTEN 2363/memcached
tcp6 0 0 :::11211 ::: LISTEN 2363/memcached
memcached启动参数配置：

[[email protected] ~]# vim /etc/sysconfig/memcached
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""
说明： OPTIONS可以自定义选项，可以使用“memcached -h”查看其选项。

21.4 查看memcached的状态

方法1：
[[email protected] ~]# memcached-tool 127.0.0.1:11211 stats

方法2：（前提是安装了libmemcached包）
[[email protected] ~]# memstat --servers=127.0.0.1:11211

方法3：
[[email protected] ~]# telnet 127.0.0.1 11211
#连接memcached
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is ‘^]‘.
stats
#查看memcached的状态
STAT pid 1277 （进程ID）
STAT uptime 176145 （服务器运行秒数,秒）
STAT time 1448592684 （服务器当前unix时间戳）
STAT version 1.4.15 （服务器版本）
STAT libevent 2.0.21-stable
STAT pointer_size 64 （操作系统字大小 32/64位）
STAT rusage_user 3.869494 （进程累计用户时间，秒）
STAT rusage_system 4.636292 （进程累计系统时间，秒）
STAT curr_connections 11 （当前打开连接数）
STAT total_connections 21 （曾打开的连接总数）
STAT connection_structures 12 （服务器分配的连接结构数）
STAT reserved_fds 20
STAT cmd_get 483 （执行get命令总数）
STAT cmd_set 144 （执行set命令总数）
STAT cmd_flush 0 （指向flush_all命令总数）
STAT cmd_touch 0
STAT get_hits 369 （get命中次数）
STAT get_misses 114 （get未命中次数）
STAT delete_misses 0 （delete未命中次数）
STAT delete_hits 0 （delete命中次数）
STAT incr_misses 0 （incr未命中次数）
STAT incr_hits 0 （incr命中次数）
STAT decr_misses 0 （decr未命中次数）
STAT decr_hits 0 （decr命中次数）
STAT cas_misses 0 （cas未命中次数）
STAT cas_hits 0 （cas命中次数）
STAT cas_badval 0 （使用擦拭次数）
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 82819 （读取字节总数）
STAT bytes_written 104266 （写入字节总数）
STAT limit_maxbytes 67108864 （分配的内存数（字节））
STAT accepting_conns 1 （目前接受的连接数）
STAT listen_disabled_num 0
STAT threads 4 （线程数）
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT bytes 4789 （存储item字节数）
STAT curr_items 20 （item个数）
STAT total_items 144 （item总数）
STAT expired_unfetched 15
STAT evicted_unfetched 0
STAT evictions 0 （获取空间删除item的总数）
STAT reclaimed 36
END
quit
#退出
Connection closed by foreign host.
说明： 需要经常关注：get_hits（get命中次数）和curr _items（当前项目数）的比值，该比值代表其命中率。

使用nc命令查看memcached状态

[[email protected] ~]# yum install -y nc
[[email protected] ~]# echo stats |nc 127.0.0.1 11211