缓存技术简介

缓存技术简介wangyh缓存概述(不同硬件的读取速度)•同时大部分的业务场景下，80%的访问量都集中在20%的热数据上(适用二八原则)缓存概述•缓存就是存储使用频繁的数据的临时的地方，因为获取原始数据的代价太大了，所以将中间结果或最终结果临时保存下来使用。•基本属性：命中率，成本，缓存容量、效率、新鲜度•缓存的典型应用：CPU的一级缓存(64K)、二级缓存(1M)、文件系统的缓存，磁盘的缓存,WEB服务器端的本地缓存、单机缓存、分布式缓存等。•缓存的优点：减轻服务器负载、降低网络拥塞，减少客户访问延迟，提高反应速度、性能、减少磁盘IO。缓存分类•按类型：客户端侧、服务端侧•按资源：动态缓存、静态缓存•按位置：本地缓存、分布式缓存客户端侧缓存（浏览器缓存）目的：body体太大，缓存之•1.使用html代码：•METAHTTP-EQUIV=PragmaCONTENT=no-cache•2.基于http协议•2.1http1.0协议•服务端响应头中的Expires表示资源过期时间客户端侧缓存（浏览器缓存）•2.1http1.1协议•响应头的cache-control节点，主要使用max-age参数•2.1.1•Last-Modified/If-Modified-Since•Etag/If-None-Match客户端侧缓存（浏览器缓存）服务端侧缓存•服务端侧缓存分类：•1.网关/代理服务器缓存（如CDN）•2.反向代理缓存（apache、nginx）•3.数据库缓存•4.数据缓存(本地缓存、分布式缓存/第三方缓存)服务端侧缓存-数据库缓存•mysql的缓存机制：•1.启用缓存机制，会把结果缓存在内存中•2.当查询sql完全一致&&原表数据未改动，则不解析sql，直接返回结果，缓存命中•3.key是用select语句算出hash值，所以mysql对大小写敏感服务端侧缓存-数据库缓存4.查询方式（缓存开启）：设置缓存大小：set@@global.query_cache_size=100000；约1Mselectid,contentfromgionee_app_table;(使用缓存机制)selectsql_no_cacheid,contentfromgionee_app_table;(强制不使用缓存)5.如果使用了mysql函数，不使用缓存服务端侧缓存-数据缓存1.本地缓存（接入层/应用层缓存）：将缓存的数据放在应用服务的内存中1.1优点：高性能（无数据库查询、无网络调用）1.2缺点：占用内存较多，有重复1.3适用场景：数据量较小的情况服务端侧缓存-数据缓存2.分布式缓存：将缓存的数据放在专门的缓存服务器的内存中2.1优点：可分片缓存、无需状态同步2.2缺点：多一次网络调用2.3适用场景：数据量较大的情况服务端侧缓存-数据缓存3.第三方缓存：第三方云服务的redis、ocs等缓存服务3.1优点：无需自己维护缓存服务3.2缺点：多一次网络调用、接入层逻辑变复杂常见缓存算法缓存算法要解决的问题：1.缓存什么内容2.何时进行缓存3.当缓存空间已满时如何进行替换,即缓存替换算法。常见缓存算法1.基于访问时间的缓存策略：1.1LeastFrequentlyUsed（LFU）其核心思想是“如果数据过去被访问多次，那么将来被访问的频率也更高”，为每个缓存对象计算他们被使用的频率。会把最不常用的缓存对象踢走。2.基于访问频率的缓存策略：2.1LeastRecentlyUser（LRU）：算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。把最近最少使用的缓存对象给踢走2.2.MostRecentlyUsed（MRU）与LRU相对应，会移除最近最多被使用的对象常见缓存算法3.访问时间与频率兼顾：如FBR、LRFU、ALRFU。多数此类算法具有一个可调或自适应参数,通过该参数的调节使缓存策略在基于访问时间与频率间取得一定平衡。4.其他：4.1FirstinFirstout（FIFO）：通过一个队列去跟踪所有的缓存对象，最近最常用的缓存对象放在后面，而更早的缓存对象放在前面，当缓存容量满时，排在前面的缓存对象会被踢走，然后把新的缓存对象加进去。很快，但是并不适用。4.2.TwoQueues（2Q）把访问的数据放到LRU的缓存中，如果对象再一次被访问，就把他转移到第二个、更大的LRU缓存。4.3.AdaptiveReplacementCache（ARC）性能最好的缓存算法之一，能够自调，并且是低负载的。