redis主要解决了啥问题

Posted 2023-05-17

参考技术A

Redis 常见的性能问题和解决方法

1.Master写内存快照

save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。

2.Master AOF持久化

如果不重写AOF文件，这个持久化方式对性能的影响是最小的，但是AOF文件会不断增大，AOF文件过大会影响Master重启的恢复速度。

3.Master调用BGREWRITEAOF

Master调用BGREWRITEAOF重写AOF文件，AOF在重写的时候会占大量的CPU和内存资源，导致服务load过高，出现短暂服务暂停现象。

下面是我的一个实际项目的情况，大概情况是这样的：一个Master，4个Slave，没有Sharding机制，仅是读写分离，Master负责写入操作和AOF日志备份，AOF文件大概5G，Slave负责读操作，当Master调用BGREWRITEAOF时，Master和Slave负载会突然陡增，Master的写入请求基本上都不响应了，持续了大概5分钟，Slave的读请求过也半无法及时响应，Master和Slave的服务器负载图如下：

Master Server load：

Slave server load：

上面的情况本来不会也不应该发生的，是因为以前Master的这个机器是Slave，在上面有一个shell定时任务在每天的上午10点调用BGREWRITEAOF重写AOF文件，后来由于Master机器down了，就把备份的这个Slave切成Master了，但是这个定时任务忘记删除了，就导致了上面悲剧情况的发生，原因还是找了几天才找到的。

将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题，设置为yes表示rewrite期间对新写操作不fsync，暂时存在内存中，等rewrite完成后再写入。最好是不开启Master的AOF备份功能。

4.Redis主从复制的性能问题

第一次Slave向Master同步的实现是：Slave向Master发出同步请求，Master先dump出rdb文件，然后将rdb文件全量传输给slave，然后Master把缓存的命令转发给Slave，初次同步完成。第二次以及以后的同步实现是：Master将变量的快照直接实时依次发送给各个Slave。不管什么原因导致Slave和Master断开重连都会重复以上过程。Redis的主从复制是建立在内存快照的持久化基础上，只要有Slave就一定会有内存快照发生。虽然Redis宣称主从复制无阻塞，但由于Redis使用单线程服务，如果Master快照文件比较大，那么第一次全量传输会耗费比较长时间，且文件传输过程中Master可能无法提供服务，也就是说服务会中断，对于关键服务，这个后果也是很可怕的。

以上1.2.3.4根本问题的原因都离不开系统io瓶颈问题，也就是硬盘读写速度不够快，主进程 fsync()/write() 操作被阻塞。

5.单点故障问题

由于目前Redis的主从复制还不够成熟，所以存在明显的单点故障问题，这个目前只能自己做方案解决，如：主动复制，Proxy实现Slave对Master的替换等，这个也是Redis作者目前比较优先的任务之一，作者的解决方案思路简单优雅，详情可见 Redis Sentinel design draft 

总结

Master最好不要做任何持久化工作，包括内存快照和AOF日志文件，特别是不要启用内存快照做持久化。

如果数据比较关键，某个Slave开启AOF备份数据，策略为每秒同步一次。

为了主从复制的速度和连接的稳定性，Slave和Master最好在同一个局域网内。

尽量避免在压力较大的主库上增加从库

为了Master的稳定性，主从复制不要用图状结构，用单向链表结构更稳定，即主从关系为：Master<–Slave1<–Slave2<–Slave3…….，这样的结构也方便解决单点故障问题，实现Slave对Master的替换，也即，如果Master挂了，可以立马启用Slave1做Master，其他不变。

参考技术B redis是内存数据库，访问速度非常快，所以能够解决的也都是这些缓存类型的问题，如下：
1、会话缓存（Session
Cache）
最常用的一种使用Redis的情景是会话缓存（session
cache）。用Redis缓存会话比其他存储（如Memcached）的优势在于：Redis提供持久化。当维护一个不是严格要求一致性的缓存时，如果用户的购物车信息全部丢失，大部分人都会不高兴的，现在，他们还会这样吗？
幸运的是，随着
Redis
这些年的改进，很容易找到怎么恰当的使用Redis来缓存会话的文档。甚至广为人知的商业平台Magento也提供Redis的插件。
2、全页缓存（FPC）
除基本的会话token之外，Redis还提供很简便的FPC平台。回到一致性问题，即使重启了Redis实例，因为有磁盘的持久化，用户也不会看到页面加载速度的下降，这是一个极大改进，类似php本地FPC。
再次以Magento为例，Magento提供一个插件来使用Redis作为全页缓存后端。
此外，对WordPress的用户来说，Pantheon有一个非常好的插件
wp-redis，这个插件能帮助你以最快速度加载你曾浏览过的页面。
3、队列
Reids在内存存储引擎领域的一大优点是提供
list
和
set
操作，这使得Redis能作为一个很好的消息队列平台来使用。Redis作为队列使用的操作，就类似于本地程序语言（如Python）对
list
的
push/pop
操作。
如果你快速的在Google中搜索“Redis
queues”，你马上就能找到大量的开源项目，这些项目的目的就是利用Redis创建非常好的后端工具，以满足各种队列需求。例如，Celery有一个后台就是使用Redis作为broker，你可以从这里去查看。
排行榜/计数器
Redis在内存中对数字进行递增或递减的操作实现的非常好。集合（Set）和有序集合（Sorted
Set）也使得我们在执行这些操作的时候变的非常简单，Redis只是正好提供了这两种数据结构。所以，我们要从排序集合中获取到排名最靠前的10个用户–我们称之为“user_scores”，我们只需要像下面一样执行即可：
当然，这是假定你是根据你用户的分数做递增的排序。如果你想返回用户及用户的分数，你需要这样执行：
ZRANGE
user_scores
0
10
WITHSCORES
Agora
Games就是一个很好的例子，用Ruby实现的，它的排行榜就是使用Redis来存储数据的，你可以在这里看到。
5、发布/订阅
最后（但肯定不是最不重要的）是Redis的发布/订阅功能。发布/订阅的使用场景确实非常多。我已看见人们在社交网络连接中使用，还可作为基于发布/订阅的脚本触发器，甚至用Redis的发布/订阅功能来建立聊天系统！（不，这是真的，你可以去核实）。
Redis提供的所有特性中，我感觉这个是喜欢的人最少的一个，虽然它为用户提供如果此多功能。
等等？

conda在“解决环境”时做了啥

【中文标题】conda在“解决环境”时做了啥

【英文标题】：What does conda do when "solving environment"conda在“解决环境”时做了什么

【发布时间】：2019-01-16 03:35:47

【问题描述】：

每当我运行conda install/remove/update <package> 时，它都会告诉我它是“解决环境”一段时间，然后才告诉我它将下载/安装/更新的内容列表。想必它正在寻找<package> 的依赖关系，但是为什么它有时会在执行此操作后remove 包？例如，当我尝试安装 Mayavi 时，它决定需要删除 Anaconda Navigator。

此外，它不提供仅执行建议操作的子集的选项。有没有办法指定我不想删除一个包？

【问题讨论】：

嗯，它需要删除包的原因是因为存在依赖冲突，而删除一个包是 conda 解决冲突的最简单方法（对于 conda 求解器使用的任何简单定义）。这也是您无法执行部分操作的原因，因为您的环境可能最终处于不一致的状态。我不确定使用的具体算法，但代码是开源的：github.com/conda/conda

【参考方案1】：

您可以将--debug 选项添加到 conda 命令并查看控制台（或终端）的输出。例如，键入 conda update --debug numpy。 从输出中，我们可以看到客户端从频道列表中请求repodata.json，并在Solving Environment步骤中进行本地计算。

【参考方案2】：

作为“解决环境”步骤的旁注... 缺乏管理员权限可能会影响您是否可以安装 python 包或在哪里安装。

我观察到，在以非管理员身份登录时尝试安装软件包时，我的安装会挂在“解决环境”步骤上，并且永远无法通过。

在我卡住的机器上切换到管理员是可能的，所以我就这样做了，它解决了问题。

评论者解释了无法做到这一点时的解决方法。

【讨论】：

确实不准确。当您在不需要管理员权限的文件夹中创建环境时，您不需要管理员权限来安装 python 包，而无需其他任何事情。您当然可以非常轻松地创建一个 - 我会编辑答案

谢谢。我没有意识到这一点。我试图弄清楚如何在工作中解决这个问题，因为我不能让自己成为管理员。你是说我可以解决这个问题，所以这是个好消息！！！我只是发布了这个，因为当我遇到问题时，我寻求帮助将我带到这里但我没有找到它。

【参考方案3】：

conda install --prune <<package>>帮我安装了正确的频道。

使用的可疑环境用于滑索和使用的通道与现有的不兼容。 prune 花了很多时间，但帮助我解决了环境问题。