redis的主从复制和高可用、集群，以及用redis做mysql缓存

待我称王封你为后i 2022-05-24 06:27 230阅读 0赞

## 一、redis的安装 ##

先在下载安装包

解压后进入目录应为已经有Makefile了所以直接make编译

![20180522152128363][]

这里会报错，需要gcc编译器

![20180522152307370][]

安装好gcc，再次make编译，还是会报错；这个错误根据 Readme 可知需要执行 make MALLOC=libc

![20180522152448626][]

make完成后，提示去到 src 目录下

![20180522152603174][]

到src目录后执行按提示执行make test，会报错提示安装tcl工具

![20180522152727629][]

完成后 make install 完成安装

![20180522152834931][]![20180522152843504][]

注意进入utils目录，执行install\_server.sh，不然脚本会报错，提示找不到相应文件。脚本执行时，会有几个设置config等的问题，默认回车即可

![20180522153430488][]

至此redis已经安装完毕

## 二、redis的主从复制和高可用 ##

1、redis的主从复制

1）编辑redis的配置文件，配置文件位置如下图

![201805221538229][]

2）注释bind 127.0.0.1

在配置文件redis.conf中，默认的bind 接口是127.0.0.1，也就是本地回环地址。这样的话，访问redis服务只能通过本机的客户端连接，而无法通过远程连接，这样可以避免将redis服务暴露于危险的网络环境中，防止一些不安全的人随随便便通过远程，但是我们做主从复制。

但是搭建主从复制，需要另一台redis端连接到本机，所以要将其注释。

![20180522154201638][]

2）关闭保护模式

![20180522154331519][]

3）另一台redis端在其配置文件做同样操作，并且需要指定master端ip和端口，如图

![20180522154452418][]

如上操作所示，已经完成redis的主从复制，测试：在master端server3:set name  kk，在server3查看

![20180522154809308][]

![20180522154755132][]

完成主从复制

2、redis高可用

高可用原理:

自动故障迁移(Automatic failover): 当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作, 它会将失效主服务器的其中一个从服务器升级为新的主服务器, 并让失效主服务器的其他从服务器改为复制新的主服务器; 当客户端试图连接失效的主服务器时, 集群也会向客户端返回新主服务器的地址, 使得集群可以使用新主服务器代替失效服务器。

配置环境:三台虚拟机安装 redis 服务  
Server3: 172.25.77.3 (先做 master)  
Server4:172.25.77.4

Server5:172.25.77.5

按主从复制先配置好一主两从

1）在安装包中将 sentinel 文件复制到/etc/redis/下

![20180522155712715][]

2）编辑 sentinel.conf 如下图

关闭保护模式

![20180522155755213][]

配置指示 Sentinel 去监视一个名为 mymaster 的主服务器,这个主服务器的IP 地址为 172.25.77.3,端口号为 6379 ,而将这个主服务器判断为失效至少需要 2 个 Sentinel 同意(只要同意 Sentinel 的数量不达标,自动故障迁移就不会执行)

![20180522155922628][]

down-after-milliseconds 选项指定了 Sentinel 认为服务器已经断线所需的毫秒数。如果服务器在给定的毫秒数之内, 没有返回 Sentinel 发送的 PING 命令的回复, 或返回一个错误, 那么 Sentinel 将这个服务器标记为主观下线

![20180522155959811][]

完成后将 sentinel 配置文件发送 server4 和 sevrer5

![20180522160043548][]

3）三台 redis 启动 Sentinel 服务

![20180522160126826][]

![20180522160254156][]

\+slave 表示 :一个新的从服务器已经被 Sentinel 识别并关联。可以看到片此时 master 是 server3;server4 和 server5 是 slave。

4）测试:master 端 server3 info 查看 replication 信息:

![20180522160320295][]

查看后 shotdown

此时:server4 监听如下图

![20180522160453340][]

\+switch-master :配置变更,主服务器的 IP 和地址已经改变。  
\+sdown :给定的实例 server3 现在处于主观下线状态。  
根据信息我们可以看到此时 master 为 server5,我们在 server5 查看info 信息如下图，server5成为master，只有一个slave是server4

![20180522160329636][]

如上操作,实现了高可用即自动故障迁移

## 三、用redis做mysql缓存 ##

**Gearman+PHP+MySQL UDF的组合异步实现MySQL到Redis的数据复制。**

用redis作为Mysql数据库的缓存，在查找的时候，首先查找redis缓存，如果找到则返回结果；如果在redis中没有找到，那么查找Mysql数据库，找到的花则返回结果并且更新redis；如果没有找到则返回空。对于写入的情况，直接写入mysql数据库，mysql数据库通过触发器及UDF机制自动把变更的内容更新到redis中。采用MySQL作为数据存储引擎，Redis则作为Cache。``

``mysql读写数据都需要从磁盘读取 。磁盘的容量，带宽的大小就影响了网站的访问速度，读取的方式，也就是sql``语句，次数和效率也会影响读取效率。

redis和mc都是缓存，并且都是驻留在内存中运行的，这大大提升了高数据量web访问的访问速度。然而mc只是提供了简单的数据结构，比如 string存储;redis却提供了大量的数据结构，比如string、list、set、hashset、sorted set这些，这使得用户方便了好多，毕竟封装了一层实用的功能，同时实现了同样的效果，当然用redis而慢慢舍弃mc。

1、先做主从同步  server5为master server3为slave   server4为应用层

![20180522195042373][]

![2018052219510211][]

2、server4做lnmp架构安装nginx和php，编辑www.conf配置文件，将user和group改成nginx

![20180522195302155][]![20180522195308799][]

3、在vim /etc/php.ini改时区

![20180522195408165][]

4、在/etc/nginx/conf.d编辑default.conf文件

![2018052219543894][]![20180522195448510][]

5、在/usr/share/nginx/html下编辑php发布目录，完成启动ngixn服务

![20180522195637367][]

完成后查看

![20180522195713766][]

6、为php增加redis扩展库，在/etc/php.d/目录下添加extension=redis.so

![20180522200235480][]![20180522200248268][]

![20180522201249425][]

7、编写php检验脚本，redis->connect写redis的masterf端ip，mysql写mysql服务端的ip

![20180522201556755][]

8、在mysql服务端安装mysql-serevr，并进行授权

![20180522202021811][]

将编写好的库文件导入

![20180522202041334][]![20180522202051345][]

查看

![20180522202219638][]

![20180522202238153][]

网页查看

![20180522202309945][]

刷新redis查看

![20180522202335175][]

9、此时，更新数据库，查看redis并没有改变

![20180522202450155][]

![20180522202507500][]

10、1）在server4安装如下安装包

![20180522203135354][]

通常，多语言多系统之间的集成是个大问题，一般来说，人们多半会采用 WebService 的方式来处理此类集成问题，但不管采用何种风格的 WebService，如 RPC 风格，或者 REST 风格，其本身都有一定的复杂性。相比之下，Gearman 也能实现类似的作用，而且更简单易用。

2）开启服务，查看端口

![20180522203822863][]

3）为php增加gearman扩展库，在/etc/php.d/目录下添加extension=gearman.so

![20180522204041514][]![20180522204055867][]

![20180522204128725][]

4)**安装lib\_mysqludf\_json**

使用lib\_mysqludf\_json的原因是因为Gearman只接受字符串作为入口参数，可以通过lib\_mysqludf\_json将MySQL中的数据编码为JSON字符串

![20180522204309253][]![20180522204356427][]

可以看到重新编译生成了 lib\_mysqludf\_json.so 文件，将文件复制到MySQL的插件安装路径

![20180522204443655][]

5）可以查看mysql插件安装路径，并登入MySQL运行语句注册UDF函数：

![20180522204602668][]

![20180522204625466][]

6）**安装gearman-mysql-udf**

![20180522204746306][]

**提示需要libgearman**

![20180522204834539][]

编译安装

![20180522204915481][]

和上面类似：生成了 libgearman\_mysql\_udf.so 文件插入到MySQL的插件安装路径

![20180522205110609][]

注册udf函数，查看

![20180522205218325][]

指定Gearman服务器的信息：

![2018052220535354][]

**7）通过MySQL触发器实现数据同步**

同步哪些数据，同步的条件，还是需要根据实际情况决定，比如我希望将数据表data的数据在每次更新时同步，那么编写Trigger如下：完成后导入数据库

![20180522205635773][]

查看triggers信息

![20180522205759254][]

8）编写一个Gearman Worker：redis\_worker.php

指定redis的master

![2018052220594187][]

![20180522210012494][]

最后需要将Worker在后台运行：

![20180522210218291][]

测试：在mysql更新数据，redis查看：

![20180522210341197][]

![20180522210445489][]![20180522210455998][]![20180522210505263][]

经测试通过这种方式将MySQL数据复制到Redis，单Worker基本可以瞬时完成。

## 四、redis-cluster集群 ##

redis-cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。

配置环境：一台服务器 我这里ip为:172.25.77.5

###  1、redis cluster节点分配 ###

假设现在我们是三个主节点分别是：A, B, C 三个节点，它们可以是一台机器上的三个端口，也可以是三台不同的服务器。那么，采用哈希槽 (hash slot)的方式来分配16384个slot 的话，它们三个节点分别承担的slot 区间是：

节点A覆盖0－5460;

节点B覆盖5461－10922;

节点C覆盖10923－16383.

获取数据：

如果存入一个值，按照redis cluster哈希槽的[算法][Link 1]： CRC16('key')384 = 6782。 那么就会把这个key 的存储分配到 B 上了。同样，当我连接(A,B,C)任何一个节点想获取'key'这个key时，也会这样的算法，然后内部跳转到B节点上获取数据

新增一个主节点：

新增一个节点D，redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上，大致就会变成这样：

节点A覆盖1365-5460

节点B覆盖6827-10922

节点C覆盖12288-16383

节点D覆盖0-1364,5461-6826,10923-12287

同样删除一个节点也是类似，移动完成后就可以删除这个节点了。

**2、redis-cluster的主从模式**

redis cluster 为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。  
      上面那个例子里, 集群有ABC三个主节点, 如果这3个节点都没有加入从节点，如果B挂掉了，我们就无法访问整个集群了。A和C的slot也无法访问。  
     所以我们在集群建立的时候，一定要为每个主节点都添加了从节点, 比如像这样, 集群包含主节点A、B、C, 以及从节点A1、B1、C1, 那么即使B挂掉系统也可以继续正确工作。  
     B1节点替代了B节点，所以Redis集群将会选择B1节点作为新的主节点，集群将会继续正确地提供服务。 当B重新开启后，它就会变成B1的从节点。 不过需要注意，如果节点B和B1同时挂了，Redis集群就无法继续正确地提供服务了。

**3、下面开始搭建**

1）停掉redis服务，在/usr/local下建立6个目录

![20180522213451718][]

配置redis.conf如图

![20180522213423990][]

复制文件到每个目录下，只用修改端口号

![2018052221364080][]

然后启动节点

![20180522213619941][]

完成后查看如下图：

![20180522213724199][]

2）redis-trib.rb是redis官方推出的管理redis集群的工具，集成在redis的源码src目录下，是基于redis提供的集群命令封装成简单、便捷、实用的操作工具。

运行redis-trib.rb

![20180522213957545][]

提示没有ruby工具，yum安装，再次执行，提示需要rubygems

![20180522214047570][]

安装完后，还需要redis-gem翻译器

![2018052221433714][]

![20180522214357336][]

安装的时候提示ruby版本要>=2.2.2，刚才使用yum安装，导致版本没更上，问题不大，需要什么找什么安装什么

![20180522214616206][]

![20180522214641605][]

![20180522215002365][]

翻译器安装完成gem list查看

![20180522215036341][]

此时redis-trib.rb也可以使用

![20180522215325425][]

使用redis-trib.rb建立集群

./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

![20180522215457296][]

上面显示创建成功，有3个主节点，3个从节点，每个节点都是成功连接状态

4）测试：-c表示连接 -p连接的节点

![2018052221575570][]

查看信息：

![20180522215938905][]

节点以及分配的哈希卡槽如下：

![20180522220141444][]

[20180522152128363]: /images/20220524/07f6b916d1e44060abd743fc77286e81.png
[20180522152307370]: /images/20220524/58abf7f267b4497eb40c1ed846007bad.png
[20180522152448626]: /images/20220524/b505189af88e4cc898491d16abd227dd.png
[20180522152603174]: /images/20220524/8f0d816f302e4474a677d4a5052c06cb.png
[20180522152727629]: /images/20220524/a6cda710c49941dea9f4bb4c58718027.png
[20180522152834931]: https://img-blog.csdn.net/20180522152834931
[20180522152843504]: /images/20220524/f0700f20608c43f28d92cb3f37a47bf9.png
[20180522153430488]: /images/20220524/f2b1ab7c85c3418e81bcf54c32059a8a.png
[201805221538229]: /images/20220524/26b813fd54014905bc53517d5f3475d8.png
[20180522154201638]: /images/20220524/cd7c1a23defd46dcbb9c416a1484ee0c.png
[20180522154331519]: /images/20220524/e5c9635865a64bb2863969fb82c53988.png
[20180522154452418]: /images/20220524/3999164a702d4103b928beac5dff4354.png
[20180522154809308]: /images/20220524/7cbb6c75fd984ae78ccbf87556be003b.png
[20180522154755132]: /images/20220524/77ead4492be843b0a0b3d0830d8a7d47.png
[20180522155712715]: /images/20220524/1d5a169a42444783bd2648b9e518fde6.png
[20180522155755213]: /images/20220524/801977de22204eb085a20dffbeedacbf.png
[20180522155922628]: /images/20220524/da2992359a2c496984606aad08b4f699.png
[20180522155959811]: /images/20220524/36258bb177454ee1a21bcf758284c9dd.png
[20180522160043548]: /images/20220524/3cde410da0ec4251a1f3244e1e388562.png
[20180522160126826]: /images/20220524/d717d3ef477d494a82aefce958b7bf19.png
[20180522160254156]: /images/20220524/ef21b4a212964238b955f814185c5d6d.png
[20180522160320295]: /images/20220524/e4ad99c7e12c45bcb870f35a348d14e5.png
[20180522160453340]: /images/20220524/9cc174816dbf4c768376fa211c7ad5a3.png
[20180522160329636]: /images/20220524/631ff663719b4543b0f2cabd8e936188.png
[20180522195042373]: /images/20220524/327c00a226d5425d99d6ddfcc17c2b13.png
[2018052219510211]: /images/20220524/1b6cf627fd054211b27419e735db01ca.png
[20180522195302155]: https://img-blog.csdn.net/20180522195302155
[20180522195308799]: /images/20220524/1f908db20eaf4d419f38da488b4f878c.png
[20180522195408165]: /images/20220524/ae1da12549e94acc83a182745d073602.png
[2018052219543894]: https://img-blog.csdn.net/2018052219543894
[20180522195448510]: /images/20220524/2318bdf6cd734da6a2b435619b1305ec.png
[20180522195637367]: /images/20220524/054f4b8b8626457dbfe3a28711f8ed39.png
[20180522195713766]: /images/20220524/3aa1845cda334921a6f0e4809835e8ee.png
[20180522200235480]: https://img-blog.csdn.net/20180522200235480
[20180522200248268]: /images/20220524/813179f5957f47d2a648f71af7c4f10f.png
[20180522201249425]: /images/20220524/e0525b5821c74b479155339c94473e7a.png
[20180522201556755]: /images/20220524/1bfa0347c7c246288b597e0f914960ad.png
[20180522202021811]: /images/20220524/17bb01635b2742f69c843f8218a3bf3a.png
[20180522202041334]: https://img-blog.csdn.net/20180522202041334
[20180522202051345]: /images/20220524/65dfdb387d2a402a9bba477038963abf.png
[20180522202219638]: /images/20220524/e7859eae75c940299669c38ee60ffe89.png
[20180522202238153]: /images/20220524/e0b21258541543f08d3db0514aa6ca22.png
[20180522202309945]: /images/20220524/066e5ed7bed74a0b810dadfca6706954.png
[20180522202335175]: /images/20220524/7d1f33f3c3f049a7a2b9363e755dc3f5.png
[20180522202450155]: /images/20220524/a2f86dcb7ff142839df7d93cd6d463c5.png
[20180522202507500]: /images/20220524/3c1697c4980b4835b37b850e5e30b5e2.png
[20180522203135354]: /images/20220524/e6feb2895d7047e49d9a12cd89a8c869.png
[20180522203822863]: /images/20220524/fd80f01ba4514cc4ae540ec696f9c59f.png
[20180522204041514]: https://img-blog.csdn.net/20180522204041514
[20180522204055867]: /images/20220524/9b043f618af84ed9807e6b629d288b97.png
[20180522204128725]: /images/20220524/059c7ff0789441dca7a1892901efd764.png
[20180522204309253]: https://img-blog.csdn.net/20180522204309253
[20180522204356427]: /images/20220524/50b03e89484c4ec59fec996d032dce3c.png
[20180522204443655]: /images/20220524/b2187682124c43719a4e1467be7a7617.png
[20180522204602668]: /images/20220524/e4f3372d44bb4988a0f4c304f57def6c.png
[20180522204625466]: /images/20220524/2d1ade53b0b14b41a2f10ef8b09304a6.png
[20180522204746306]: /images/20220524/43477b2964ef4cc7be52a86fead5d3c9.png
[20180522204834539]: /images/20220524/9319f898e045495bb8cdaffc8041f2cb.png
[20180522204915481]: /images/20220524/8fac7eb895574fa2aff7fd083caf843d.png
[20180522205110609]: /images/20220524/4490502d97244ad7bea1645a8f3fa07e.png
[20180522205218325]: /images/20220524/a4001e28175743f597faaa8902d1a37c.png
[2018052220535354]: /images/20220524/c6e2efa6e1004f2790de17cbb502c91e.png
[20180522205635773]: /images/20220524/337dca395c4e466ba8470a09026aecd7.png
[20180522205759254]: /images/20220524/0c0621b8d3e84fb9bc84821b29204842.png
[2018052220594187]: /images/20220524/bf6f58e016bc489c951f7094d36091f9.png
[20180522210012494]: /images/20220524/df429e524ce84dcc847ebbad92815ae4.png
[20180522210218291]: /images/20220524/3fa185c9c01b43f5925ba922953a7d80.png
[20180522210341197]: /images/20220524/c311961c9c9746119f03d8c0e867234f.png
[20180522210445489]: https://img-blog.csdn.net/20180522210445489
[20180522210455998]: https://img-blog.csdn.net/20180522210455998
[20180522210505263]: /images/20220524/89801675d508476692bcc695ef0a861b.png
[Link 1]: http://lib.csdn.net/base/datastructure
[20180522213451718]: /images/20220524/478f2f5bfdc74ac9b4ae7959c8a0eec4.png
[20180522213423990]: /images/20220524/af9adc8d9100406c9d7a36cc9c08e3fe.png
[2018052221364080]: /images/20220524/a92f5219173a4822934318716ba201a5.png
[20180522213619941]: /images/20220524/38cf8ae85da441dcbec40768df8514c8.png
[20180522213724199]: /images/20220524/b6516025768a43528f29b8a481ff3722.png
[20180522213957545]: /images/20220524/e2dcb2edf3c94a4ea268d048a20e69b1.png
[20180522214047570]: /images/20220524/f68bb5b98e7c4016a347378f3637ce62.png
[2018052221433714]: /images/20220524/2d6902d1e96f4be78e380bf3778fd28f.png
[20180522214357336]: /images/20220524/fcb51503afe84cdc8fec81bbd3c67c4c.png
[20180522214616206]: /images/20220524/1af454f1745a4c4395359292689ae671.png
[20180522214641605]: /images/20220524/ba920403f11548dbb96ebf526e6c2998.png
[20180522215002365]: /images/20220524/7d6f2a784a34485099b1b68995edc3f8.png
[20180522215036341]: /images/20220524/c1779a4de30a4284b90c8c8b42ce8aee.png
[20180522215325425]: /images/20220524/c35b9a2a68d144549e44066f6555f2da.png
[20180522215457296]: /images/20220524/3b983ebfa21e46fda4831666b068f14c.png
[2018052221575570]: /images/20220524/486b2e4152b2413ebcb2046ebc49ab22.png
[20180522215938905]: /images/20220524/fc8213a4e0714dc69d29056e388cc244.png
[20180522220141444]: /images/20220524/0d80cdb6b1d5499e99c9b0da8bc9f350.png