大型网站架构阅读(五)网站架构高可用

桃扇骨 2024-02-19 13:47 102阅读 0赞

**可用性概述：**

网站的可用性( Availability)描述网站可有效访问的特性(不同于另一个网站运营指标: Usability,通常也被译作可用性,但是后者强调的是网站的有用性,即对最终用户的使用价值),相比于网站的其他非功能特性,网站的可用性更牵动人们的神经,大型网站的不可用事故直接影响公司形象和利益,许多互联网公司都将网站可用性列入工程师的绩效考核,与奖金升迁等利益挂钩。

**网站可用性度量：**

网站不可用也被称作网站故障,业界通常用多少个9来衡量网站的可用性,如QQ的可用性是4个9,即QQ服务9999%可用,这意味着QQ服务要保证其在所有运行时间中,只有0.01%的时间不可用,也就是一年中大约最多53分钟不可用。

网站不可用时间(故障时间)=故障修复时间点-故障发现(报告)时间点

网站年度可用性指标=(1-网站不可用时间/年度总时间)×100%

对于大多数网站而言,2个9是基本可用,网站年度不可用时间小于88小时;3个9是较高可用,网站年度不可用时间小于9小时;4个9是具有自动恢复能力的高可用,网站年度不可用时间小于53分钟;5个9是极高可用性,网站年度不可用时间小于5分钟。由于可用性影响因素很多,对于网站整体而言,达到4个9,乃至5个9的可用性,除了过硬的技术、大量的设备资金投入和工程师的责任心,还要有个好运气。

**网站可用性考核：**

根据故障分：对网站故障进行分类加权计算故障责任的方法。

故障分类权重表： 故障分=故障时间(分钟)× 故障权重

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70][]

**高可用网站架构：**  
目的：保证服务器硬件故障时候服务依然可用，数据依然保存并能够被访问。 实现方式：数据和服务的冗余备份及失效转移，一旦某些服务器宕机，就将服务切换 到其他可用的服务器上，如果磁盘损坏，则从备份的磁盘读取数据。

**高可用应用：**

1.通过负载均衡进行无状态的失效转移  
2. 应用服务器集群的Session管理  
集群中Session管理方式：  
1.Session复制

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1][]  
2.Session绑定 nginx iphash配置

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2][]  
3.利用Cookie记录Session  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3][]  
利用 Cookie记录 Session也有一些缺点,比如受 Cookie大小限制,能记录的信息有限;每次请求响应都需要传输 Cookie,影响性能;如果用户关闭 Cookie,访问就会不正常。但是由于 Cookie的简单易用,可用性高,支持应用服务器的线性伸缩,而大部分应用需要记录的 Session信息又比较小。因此事实上,许多网站都或多或少地使用 Cookie记录 Session。

4.Session服务器  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4][]  
这种解决方案事实上是将应用服务器的状态分离,分为无状态的应用服务器和有状态的 Session服务器,然后针对这两种服务器的不同特性分别设计其架构。对于有状态的 Session服务器,一种比较简单的方法是利用分布式缓存、数据库等,在这些产品的基础上进行包装,使其符合 Session的存储和访问要求。如果业务场景对Session管理有比较高的要求,比如利用 Session服务集成单点登录(SSO)、用户服务等功能,则需要开发专门的 Session服务管理平台。

**高可用的服务：**

可复用的服务模块提供基础公共服务。是无状态的服务，可以使用类似负载均衡的失效转移策略实现高可用的服务。

高可用的服务策略：

1.分级管理  
低优先级的服务通过启动不同的线程或者部署在不同的虚拟机上进行隔离,而高优先级的服务则需要部署在不同的物理机上,核心服务和数据甚至需要部署在不同地域的数据中心。  
  
2.超时设置  
由于服务端宕机、线程死锁等原因,可能导致应用程序对服务端的调用失去响应,而导致用户请求长时间得不到响应,同时还占用应用程序的资源,不利于及时将访问求转移到正常的服务器上。在应用程序中设置服务调用的超时时间,一旦超时,通信框架就抛出异常,应用程序根据服务调度策略,可选择继续重试或将请求转移到提供相同服务的其他服务器上。

3.异步调用  
如果采用异步调用的方式,应用程序将用户注册信息发送给消息队列服务器后立即回用户注册成功响应。而记录用户注册信息到数据库、发送用户注册成功邮件、调用用户服务开通权限这三个服务作为消息的消费者任务,分别从消息队列获取用户注册信息异步执行。即使邮件服务队列阻塞,邮件不能成功发送,也不会影响其他服务的执行,用户注册操作可顺利完成,只是晚一点收到注册成功的邮件而已。

**实时响应无法使用异步调用**

4.服务降级：  
网站访问高峰期，服务应大量并发调用而性能下降，为了保证核心的应用和功能的正常运行，需要对服务降级 。降级手段两种：拒绝服务及关闭服务。  
拒绝服务:拒绝低优先级应用的调用,减少服务调用并发数,确保核心应用正常使用;或者随机拒绝部分请求调用,节约资源,让另一部分请求得以成功,避免要死大家一起死的惨剧。貌似 Twitter比较喜欢使用随机拒绝请求的策略,经常有用户看到请求失败的故障页面,但是问下身边的人,其他人都正常使用,自己再刷新页面,也好了。

关闭功能:关闭部分不重要的服务,或者服务内部关闭部分不重要的功能,以节约系统开销,为重要的服务和功能让出资源。淘宝在每年的“双十一”促销中就使用这种方法,在系统最繁忙的时段关闭“评价”、“确认收货”等非核心服务,以保证核心交易服务的顺利完成。

参见dubbo 服务降级  
mock=force:return+null 表示消费方对该服务的方法调用都直接返回 null 值，不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。  
mock=fail:return+null 表示消费方对该服务的方法调用在失败后，再返回 null 值，不抛异常。用来容忍不重要服务不稳定时对调用方的影响。

dubbo 服务降级的真实含义：并不是对 provider 进行操作，而是告诉 consumer，调用服务时要做哪些动作。

5.幂等性设计

应用调用服务失败后,会将调用请求重新发送到其他服务器,但是这个失败可能是虚假的失败。比如服务已经处理成功,但因为网络故障应用没有收到响应,这时应用重新提交请求就导致服务重复调用,如果这个服务是一个转账操作,就会产生严重后果。 服务重复调用是无法避免的,应用层也不需要关心服务是否真的失败,只要没有收到调用成功的响应,就可以认为调用失败,并重试服务调用。因此必须在服务层保证服务重复调用和调用一次产生的结果相同,即服务具有幂等性。 有些服务天然具有幂等性,比如将用户性别设置为男性,不管设置多少次,结果都一样。但是对于转账交易等操作,问题就会比较复杂,需要通过交易编号等信息进行服务调用有效性校验,只有有效的操作才能继续执行。

**高可用的数据：**

保证数据存储高可用的手段主要是**数据备份和失效转移机制**。数据备份是保证数据有多个副本,任意副本的失效都不会导致数据的永久丢失,从而实现数据完全的持久化而失效转移机制则保证当一个数据副本不可访问时,可以快速切换访问数据的其他副本保证系统可用。

1.CAP原理：

为了保证数据的高可用，网站通常会牺牲另一个也很重要的指标：数据一致性

高可用的数据含义： 数据持久性 数据可访问性 数据一致性 主数据和备份数据之间不一致，会导致数据内容冲突。实践中，导致数据不一致的情况有很多种，表现形式也多种多样，比如数据更新返回操作失败，实际上数据在存储服务器已经更新成。CAP原理认为，一个提供数据服务的存储系统无法同时满足数据一致性，数据可用性，分区耐受性，这三个条件。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5][]

数据一致性分为 ：

1.数据强一致  
各个副本的数据在物理存储中总是一致的;数据更新操作结果和操作响应总是一致的,即操作响应通知更新失败,那么数据一定没有被更新,而不是处于不确定状态。  
2.数据用户一致  
即数据在物理存储中的各个副本的数据可能是不一致的,但是终端用户访问时,通过纠错和校验机制,可以确定一个一致的且正确的数据返回给用户。  
  
3.数据最终一致】  
这是数据一致性中较弱的一种,即物理存储的数据可能是不一致的,终端用户访问到的数据可能也是不一致的(同一用户连续访问,结果不同;或者不同用户同时访问,结果不同,但系统经过一段时间(通常是一个比较短的时间段)的自我恢复和修正,数据最终会达到一致。 因为难以满足数据强一致性,网站通常会综合成本、技术、业务场景等条件,结合应用服务和其他的数据监控与纠错功能,使存储系统达到用户一致,保证最终用户访间数据的正确性

2.数据备份：热备份与冷备份

冷备的优点是简单和廉价,成本和技术难度都较低。缺点是不能保证数据最终一致,由于数据是定期复制,因此备份设备中的数据比系统中的数据陈旧,如果系统数据丢失,那么从上个备份点开始后更新的数据就会永久丢失,不能从备份中恢复。同时也不能保证数据可用性,从冷备存储中恢复数据需要较长的时间,而这段时间无法访问数据,系统也不可用。

数据热备份分为：异步热备份与同步热备份

异步：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6][]

同步：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7][]

3.失效转移：

数据服务器集群中任何一台服务器宕机，那么应用程序针对这台服务器的所有读写操作都需要重新路由到其他服务器，保证数据访问不会失败。  
失效转移包含 失效确认，访问转移 数据恢复  
失效确认：判断服务器宕机是系统进行试下转移的第一步，系统确认一台服务器是否宕机手段有：心跳检测和应用程序访问失败报告。  
访问转移：数据读写重新路由到其他服务器上。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 8][]

**高可用网站的软件质量保证：**

网站发布：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 9][]

预发布验证：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 10][]

自动化测试：使用自开发的测试系统进行自动测试，寻找bug。

代码控制：GIT/SVN进行代码管理。

自动化发布：不需要集中式，统一式，定时定点的进行代码上线。

灰度发布：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 11][]

将集群服务器分成若干部分，每天只发布一部分服务器，观察运行稳定没有故障， 第二天继续发布一部分服务器，若干天全部发布完成，期间如果发现问题，只需要回滚已发布的一部分服务器。

**网站运行监控：**

不允许没有监控的系统上线

监控数据采集：

1.用户行为日志收集：  
用户行为日志指用户在浏览器上所做的所有操作及其所在的操作环境,包括用户操作系统与浏览器版本信息,IP地址、页面访问路径、页面停留时间等,这些数据对统计网站PVuⅣ指标、分析用户行为、优化网站设计、个性化营销与推荐等非常重要。  
具体用户行为日志收集手段有两种。

服务器端日志收集。这个方案比较简单, Apache等几乎所有web服务器都具备日志记录功能,可以记录大部分用户行为日志,开启Web服务器的日志记录功能即可。其缺点是可能会出现信息失真,如IP地址是代理服务器地址而不是用户真实IP;无法识别访问路径等。

客户端浏览器日志收集。利用页面嵌入专门的 JavaScript脚本可以收集用户真实的操作行为,因此比服务器日志收集更加精准。其缺点是比较麻烦,需要在页面嵌入特定的JavaScript脚本来完成。  
此外,大型网站的用户日志数据量惊人,数据存储与计算压力很大,目前许多网站逐步开发基于实时计算框架Stom的日志统计与分析工具。  
2.服务器性能监控  
系统Load,内存占用，磁盘IO，网络Io等故障预警，即使判断应用状况，防患于未然。  
3.运行数据报告

监控管理：  
系统报警  
失效转移  
自动优雅降级

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/eafeefb7a242481dbf249a6261a8ca85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4372c57e030e4c00b3f7dccf5bcf6e78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/5d1f764c04304732bf7d2410b6f0af6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/f59ac3ebc51b4101bf789133eeff6a7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/ebdc6fea11d1424d9098fcaa71193442.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/71ff34d84d4e42e98ba1c0732bf4bdfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/e6c3a16f26cd459fa73df60dd67e13f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/ac55905c3ddd4462aebd70006fd0d02a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/6e8317002d1b4056a79718a1da0457a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/9510384235e748638811c9f5f086b5b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/c8221b9ebcd84169b427f4ead464cc22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU0OTU3OA_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/70e0868366464ad2808ec72abbfcb59a.png