Memcached基础

Posted 2020-11-11

[toc]

Memcached基础

一、什么是NoSQL？

• 非关系型数据库就是NoSQL，

• 关系型数据库代表mysql

• 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，++查询的时候根据条件一行一行地去匹配++，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

• NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段。

• NoSQL数据可以存储在内存里，查询速度非常快

• NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

• NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

1.1 大白话理解 关系型数据库和非关系型数据库

1.1.1 关系型数据库：

例如京东或者淘宝这些大型电商平台，有着很庞大的数据结构体系，有用户表，商品表，用户信息，商品信息，等当产生一个订单的时候，或者查询数据，是哪个用户，在什么时间，购买了哪些商品，当调取一个用户在某个时间买了什么东西的时候这些数据是存在一定的关联的。

1.1.2 非关系型数据库：

NoSQL的存在就是不需要这些错综复杂的理念，一个key对应一个value。例如一个用户下对应着他的采购订单。且数据全部存在闪存中。不需要再次从磁盘中调取。

• 但是++NoSQL是不可以替代Mysql独立存在的++。

• 例如现实运维环境中，我们一台WEB安装了一个Discuz，随着访问量的增加，数据库扛不住那么大的压力；怎么办呢？我们设置一个NoSQL，当用户读取完毕后会直接放在NoSQL中，当用户再次读取的时候，会直接从缓存中读取，不需要再次从数据库中读取。帖子的ID就类似于Key，帖子的内容就类似于Value。

• NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式。所以扩展也比较容易。如果你的A服务器受到瓶颈，增加服务器让让其继续缓存呗，因为不像关系型数据库需要互相关联，NoSQL直接横向扩展即可！

• mysql的话只有前面说到的主主，主从，多主多从针对从进行负载均衡。要么就是分库分表，前提是关联的数据库不可以分开，不关联的数据库可以分开。

1.2 常见NoSQL数据库

1.2.1 k-v形式的：memcached、redis

适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

1.2.2 文档数据库：mongodb

将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

1.2.3 列存储 Hbase

1.2.4 图 Neo4J、Infinite Graph、OrientDB

二、Memcached介绍

2.1 Memcached概念

• Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。
• 官方站点 http://www.memcached.org/
• 数据结构简单(k-v)，数据存放在内存里
  多线程
• 基于c/s架构，协议简单（你需要先启动一个服务，然后用这个服务进行通信？？）
• 基于libevent的事件处理
• 自主内存存储处理（slab allowcation)
• 数据过期方式：Lazy Expiration 和 LRU
  Memcached的数据流向

2.2 Memcached的数据流向

一般使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态web应用的速度、提高可扩展性！

正常的作业流程是：

用户发起请求给nginx,然后再次调用php，PHP和mysql打交道，当用户PHP获取到请求转给NGINX，NGINX再次把请求数据交给用户。

如果并发量很大，请求mysql的队列比较多，这时候我们就需要增加一个缓存层Memcached。这样访问过的数据全部丢在缓存中，当再次请求这个数据的时候就直接从Memcached读取即可！

2.3 Slab allocation

Slab Allocation的原理

• 将分配的内存分割成各种尺寸的块（chunk）， 并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。

• Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过-I 参数来指定。

• Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

Growth factor

• Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

• 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

命令：

2.4 Memcached的数据过期方式

Lazy Expiration

Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU

Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

三、 安装memcached

查看下memcached的版本号

[[email protected] ~]# yum list |grep memcache
Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
collectd-memcachec.x86_64                5.8.0-3.el7                   epel     
dmlite-plugins-memcache.x86_64           0.8.8-1.el7                   epel     
libmemcached.i686                        1.0.16-5.el7                  base     
libmemcached.x86_64                      1.0.16-5.el7                  base     
libmemcached-devel.i686                  1.0.16-5.el7                  base     
libmemcached-devel.x86_64                1.0.16-5.el7                  base     
memcached.x86_64                         1.4.15-10.el7_3.1             base     
memcached-devel.i686                     1.4.15-10.el7_3.1             base     
memcached-devel.x86_64                   1.4.15-10.el7_3.1             base     
opensips-memcached.x86_64                1.10.5-3.el7                  epel     
pcp-pmda-memcache.x86_64                 3.11.8-7.el7                  base     
php-ZendFramework-Cache-Backend-Libmemcached.noarch
php-pecl-memcache.x86_64                 3.0.8-4.el7                   base     
php-pecl-memcached.x86_64                2.2.0-1.el7                   epel     
python-memcached.noarch                  1.48-4.el7                    base     
rubygem-memcache-client.noarch           1.8.5-13.el7                  epel     
uwsgi-router-memcached.x86_64            2.0.16-1.el7                  epel   

3.1 开始正式安装并启动：

[[email protected] ~]# yum install -y memcached
[[email protected] ~]# systemctl start memcached

查看安装信息：

[[email protected] ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:11211           0.0.0.0:*            

[[email protected] ~]# ps aux |grep memcache
memcach+  3223  0.0  0.0 325564  1180 ?        Ssl  21:50   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root      3230  0.0  0.0 112660   964 pts/0    R+   21:51   0:00 grep --color=auto memcache

3.2 配置参数

• 比如加上监听的ip，可以把OPTIONS=”” 改为OPTIONS=”127.0.0.1″
• 其中-m 指定memcached分配内存（常用）
• -c 指定最大并发数
• -u 指定运行memcached服务的用户

方法一，按照命令路径的方式直接更改-u,-m,-c等参数

/usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

方法二 vim /etc/sysconfig/memcached

vim /etc/sysconfig/memcached

四、 查看memcached状态

[[email protected] ~]# memcached-tool 127.0.0.1:11211 stats
#127.0.0.1:11211   Field       Value
         accepting_conns           1
               auth_cmds           0
             auth_errors           0
                   bytes           0
              bytes_read           7
           bytes_written           0
              cas_badval           0
                cas_hits           0
              cas_misses           0
               cmd_flush           0
                 cmd_get           0
                 cmd_set           0
               cmd_touch           0
             conn_yields           0
   connection_structures          11
        curr_connections          10
              curr_items           0
               decr_hits           0
             decr_misses           0
             delete_hits           0
           delete_misses           0
       evicted_unfetched           0
               evictions           0
       expired_unfetched           0
                get_hits           0
              get_misses           0
              hash_bytes      524288
       hash_is_expanding           0
        hash_power_level          16
               incr_hits           0
             incr_misses           0
                libevent 2.0.21-stable
          limit_maxbytes    67108864
     listen_disabled_num           0
                     pid        3223
            pointer_size          64
               reclaimed           0
            reserved_fds          20
           rusage_system    0.011338
             rusage_user    0.027654
                 threads           4
                    time  1527171113
       total_connections          11
             total_items           0

方法一：

memcached-tool 127.0.0.1:11211 stats
或

方法二：

yum install -y nc

echo stats |nc 127.0.0.1 11211

安装nc，yum install -y nc

查看nc的安装源

[[email protected] ~]# rpm -qf `which nc`
nmap-ncat-6.40-13.el7.x86_64

方法三:

安装libmemcached后，可以使用命令
yum install -y libmemcached

memstat --servers=127.0.0.1:11211
以上三种查看memcached服务状态。