缓存技术浅谈

缓存技术浅谈RobbinFan缓存是什么，解决什么问题？Cache是高速缓冲存储器一种特殊的存储器子系统，其中复制了频繁使用的数据以利于快速访问凡是位于速度相差较大的两种硬件/软件之间的，用于协调两者数据传输速度差异的结构，均可称之为Cache基于Web应用的系统架构图数据库应用服务器Web服务器存储设备浏览器Web应用架构操作系统的文件系统Web应用系统存在哪些速度差异？读取文件系统读取磁盘读取数据库内存读取文件系统读取应用内存访问数据库服务器读取静态文件访问应用服务器读取浏览器缓存访问网站缓存技术分类操作系统磁盘缓存减少磁盘机械操作数据库缓存减少文件系统I/O应用程序缓存减少对数据库的查询Web服务器缓存减少应用服务器请求客户端浏览器缓存减少对网站的访问操作系统缓存概述文件系统提供的DiskCache：操作系统会把经常访问到的文件内容放入到内存当中，由文件系统来管理当应用程序通过文件系统访问磁盘文件的时候，操作系统从DiskCache当中读取文件内容，加速了文件读取速度DiskCache由操作系统来自动管理，一般不用人工干预，但应当保证物理内存充足，以便于操作系统可以使用尽量多的内存充当DiskCache，加速文件读取速度特殊的应用程序对文件系统DiskCache有很高的要求，会绕开文件系统DiskCache，直接访问磁盘分区，自己实现DiskCache策略Oracle的rawdevice(裸设备)–直接抛弃文件系统MySQL的InnoDB：innodb_flush_method=O_DIRECTWindows的DiskCacheLinux的DiskCache数据库缓存的重要性为什么数据库非常依赖缓存？数据库通常是企业应用系统最核心的部分数据库保存的数据量通常非常庞大数据库查询操作通常很频繁，有时还很复杂以上原因造成数据库查询会引起非常频繁的磁盘I/O读取操作，迫使CPU挂起等待，数据库性能极度低下数据库有哪些缓存策略？QueryCacheDataBufferQueryCache以SQL作为key值缓存查询结果集一旦查询涉及的表记录被修改，缓存就会被自动删除设置合适的QueryCache会极大提高数据库性能QueryCache并非越大越好，过大的QqueryCache会浪费内存。MySQL:query_cache_size=128MMySQLQueryCache监控工具showstatuslike'Qcache%';mysqlreport脚本MySQLAdministratorQueryCache状态示例__QueryCache______________________________________________Memoryusage25.77Mof64.00M%Used:40.26BlockFragmnt24.73%Hits6.98M3.2/sInserts100.87M46.9/sInsrt:Prune34.15:145.5/sHit:Insert0.07:1DataBufferdatabuffer是数据库数据在内存中的容器databuffer的命中率直接决定了数据库的性能databuffer越大越好，多多益善MySQL的InnoDBbuffer：innodb_buffer_pool_size=2GMySQL建议bufferpool开大到服务器物理内存60-80%MySQLbuffer监控工具showinnodbstatus\Gshowstatuslike'innodb%';mysqlreport脚本innotopInnoDBbuffer状态示例__InnoDBBufferPool______________________________________Usage1000.00of1000.00%Used:100.00Readhit99.99%PagesFree0%Total:0.00Data59.69k93.26%Drty:0.02Misc43116.74Latched00.00Reads60.30G28.0k/sFromfile7.01M3.3/s0.01AheadRnd986840.0/sAheadSql95480.0/sWrites86.79M40.3/sFlushes14.08M6.5/sWaitFree00/s应用程序缓存概述对象缓存查询缓存页面缓存动态页面静态化Servlet缓存页面内部缓存对象缓存由O/RMapping框架例如Hibernate提供，透明性访问，细颗粒度缓存数据库查询结果，无需业务代码显式编程，是最省事的缓存策略当软件结构按照O/RMapping框架的要求进行针对性设计，使用对象缓存将会极大降低Web系统对于数据库的访问请求良好的设计数据库结构和利用对象缓存，能够提供极高的性能，对象缓存适合OLTP（联机事务处理）应用对象缓存分类对映射数据库表记录的entity对象进行缓存对1对n关系的集合进行缓存对n对1关系的关联对象进行缓存Hibernate对象缓存配置@Entity@Cache(usage=CacheConcurrencyStrategy.NONSTRICT_READ_WRITE)publicclassForest{...}配置entity对象缓存配置关联集合的缓存@OneToMany(cascade=CascadeType.ALL,fetch=FetchType.EAGER)@JoinColumn(name=CUST_ID)@Cache(usage=CacheConcurrencyStrategy.NONSTRICT_READ_WRITE)publicSortedSetTicketgetTickets(){returntickets;}仅仅添加Annotation就可以了，无须编码，即可自动享受对象缓存。Hibernate会拦截对象的CRUD操作，针对对象读取操作进行缓存，针对对象修改操作自动清理缓存Hibernate二级缓存是提升web应用性能的法宝OLTP类型的web应用，由于应用服务器端可以进行群集水平扩展，最终的系统瓶颈总是逃不开数据库访问；哪个框架能够最大限度减少数据库访问，降低数据库访问压力，哪个框架提供的性能就更高；针对数据库的缓存策略：对象缓存：细颗粒度，针对表的记录级别，透明化访问，在不改变程序代码的情况下可以极大提升web应用的性能。对象缓存是ORM的制胜法宝。对象缓存的优劣取决于框架实现的水平，Hibernate是目前已知对象缓存最强大的开源ORM查询缓存：粗颗粒度，针对查询结果集，应用于数据实时化要求不高的场合查询缓存对数据库查询结果集进行缓存，类似数据库的QueryCache适用于一些耗时，但是时效性要求比较低的场景。查询缓存和对象缓存适用的场景不一样，是互为补充的当查询结果集涉及的表记录被修改以后，需要注意清理缓存Hibernate查询缓存在配置文件中打开QueryCachehibernate.cache.use_query_cachetrue在查询的时候显式编码使用CacheListblogs=sess.createQuery(fromBlogblogwhereblog.blogger=:blogger).setEntity(blogger,blogger).setMaxResults(15).setCacheable(true).setCacheRegion(frontpages).list();Hibernate查询缓存特征并非缓存整个查询结果集，而是缓存查询结果集entity对象的id集合[blogId1,blogId2,blogId3,…]在遍历结果集的时候，再按照blogId去查询blog对象，例如selectblog.*fromblogwhereid=?如果此时blog配置了对象缓存，则自动读取对象缓存Hibernate查询缓存会自动清理过期缓存一旦结果集涉及的entity被修改，查询缓存就被自动清理页面缓存页面缓存的作用是什么？针对页面的缓存技术不但可以减轻数据库服务器压力，还可以减轻应用服务器压力好的页面缓存可以极大提高页面渲染速度页面缓存的难点在于如何清理过期的缓存页面缓存技术有哪些？动态页面静态化Servlet缓存页面局部缓存动态页面静态化利用模板技术将访问过一次的动态页面生成静态html，同时修改页面链接，下一次请求直接访问静态链接页面动态页面静态化技术的广泛应用于互联网CMS/新闻类Web应用，但也有BBS应用使用该技术，例如Discuz!无法进行权限验证，无法显示个性化信息可以使用AJAX请求弥补动态页面静态化的某些缺点Servlet缓存针对URL访问返回的页面结果进行缓存，适用于粗粒度的页面缓存，例如新闻发布可以进行权限的检查OScache提供了简单的Servlet缓存(通过web.xml中的配置)也可以自己编程实现Servlet缓存OSCacheServlet缓存示例filterfilter-nameCacheFilter/filter-namefilter-classcom.opensymphony.oscache.web.filter.CacheFilter/filter-classinit-paramparam-nametime/param-nameparam-value600/param-value/init-paraminit-paramparam-namescope/param-nameparam-valuesession/param-value/init-param/filterfilter-mappingfilter-nameCacheFilter/filter-nameurl-pattern/news/*/url-pattern/filter-mapping页面局部缓存针对动态页面的局部片断内容进行缓存，适用于一些个性化但不经常更新的页面(例如博客)OSCache提供了简单的页面缓存可以自行扩展JSPTag实现页面局部缓存OSCache的页面局部缓存%@tagliburi==cache%cache:cache...somejspcontent.../cache:cachecache:cachekey=foobarscope=session...somejspcontent.../cache:cachecache:cachekey=%=product.getId()%time=1800refresh=%=needRefresh%...somejspcontent.../cache:cachecache:cachekey=%=product.getId()%cron=02***refresh=%=needRefresh%...somejspcontent.../cache:cache应用缓存的缓存服务器EHCache适合充当对象缓存和Hibernate集成效果很好，GavinKing也是EHCache作者之一OSCache充当Servlet和页面缓存在一个Web应用当中可以同时使用OSCache和EHCacheJBossCache在Java群集环境下使用支持缓存在节点之间的复制，在JBossAS上被用来实现HTTPSession的内存复制功能非Java实现的通用缓存产品Memcached在大规模互联网应用下使用每秒支撑1.5万～2万次请求TokyoTyrant兼容memcached协议，可以持久化存储支持故障切换，对缓存服务