搜索
豆瓣内容安全监督方案与技术架构解析内容安全监督方案1.创造性的用户主导的内容生产系统。豆瓣内容形成的起点，是那些主动型的网民所提供的自己所读过的书、看过的电影、听过的音乐的清单，相关评论和博客。这些内容提供了很多个基础节点，这些节点之间又因为网站技术系统所提供的相应功能，例如条目、“标签”或网站推荐，开始产生各种联系，从而编织出内容的基本网络。豆瓣的内容生产机制，一方面是内容指向明确，就是某一特定的书、电影或音乐，因此可以激发那些主动型的网民参与内容生产的积极性，另一方面，又可以使那些被动型的网民很容易实现个性化的满足，而且他们也可以用轻松的方式对内容的关系（例如在首页上推荐的内容）产生贡献。更重要的是，它提供了一种新的关系架构。由于每一个个体在内容之间起着穿针引线的作用，内容与内容的关系变得更为多样化。人与内容的关系也变得更为自由、灵活。内容安全监督方案2.现代客户管理（CRM）的思想，即以客户为中心，建立读者数据库进行针对性的读者服务，让读者得到最好的购物体验。豆瓣所进行的数据的收集，是通过一种友好的方式。它没有那种“偷窥”式的或强制式的对个人隐私的侵犯，而是使人们在表达个性与需求的同时，心甘情愿地将自己的个人信息交给网站内容安全监督方案3.编织内容网络的同时形成复杂的人际网络豆瓣的内容形成的机制，也成为人与人之间关系形成的机制，从结构上来说，豆瓣的社区是一种网状的结构，用户不是被圈定在某一个论坛或小组里，而是从自己的兴趣出发，多线索地编织起自己的人际网络。用相同兴趣作为媒介，把人和人的社会关系真实地搬到网上，也使得豆瓣相对于一般交友网站或者QQ更有针对性，加入“友邻”的往往是不认识但趣味相投的朋友，这比陌生人随意添加要有效和可靠得多。内容安全监督方案4.豆瓣是通过严格的“机器识别敏感词”来做审查的。机器的死板势必造成审查野蛮生硬的用户体验。豆瓣的审查制度存在严重问题，关键词过滤的算法极不合理、先审后发的制度给用户的体验无比糟糕、人工审查员的业务能力非常低下且处理方式粗暴，这些都令豆瓣用户怨声载道。内容安全监督方案5.内容开放，强调自我形象塑造与传统网络社区以及博客等不同的是，豆瓣更多是通过某个成员所列出的清单和评论等，来展现一个人的知识、修养与思想。所以有些人在豆瓣所列出的清单未必是完全真实的，有时会有浮夸的成分，但是即使是虚假的清单，把什么样的书、电影或音乐列为自己的兴趣，也往往是出于人们对自我形象塑造的需求。内容安全监督方案6.设计出了DoubanFS和DoubanDBDoubanFS跟DoubanDB的实现，他们在对于内容的安全性，或者内容的冗余性，都是（备份）三份。这都是可以配置的，现在配置是3份。首先DoubanDB会把每个数据在三个节点进行备份，任何一个出现故障都不会影响索取数据。MySQL是通过双Master方案，同时还会带1到2个slave，所以说在MySQL中豆瓣会有三到四个的备份。豆瓣网技术架构解析豆瓣网可分割成两大块：也就是用户在浏览器访问的时候会触发一系列的操作，从数据库拿出数据，渲染成HTML页面反馈给用户，这是前端；在豆瓣有一个很强的数据挖掘团队，每天把用户产生的数据进行分析，进行组合，然后产生出用户推荐，然后放在数据库里面，前端会实时的抓取这些数据显示给用户。前端的Web后端豆瓣网技术架构解析Web端所用的技术前端：ngix和lighttpd中端：Quixote的Web框架后端：MySQL以及豆瓣网开发的DoubanDB豆瓣技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析豆瓣网技术架构解析缓解高并发所带来的压力，提高缓存命中率采取的策略：豆瓣的缓存命中率：Memcache命中率在97%左右数据库查询：以Python的Object形式存放在Memcache里面，下次再拿这个数据的时候就直接从Cache中拿就行了豆瓣网技术架构解析提高承受高压力的流量，豆瓣采取的策略：按照功能分区,豆瓣会把数据表分成几个独立的库，现在是一共有4个库。每个表都是库的一个部分，每个库会有主副两个。通过这种方式来减轻数据库的压力。现在的技术方面，在操作数据库之前，首先获取数据库的游标，有一个方法，这个方法会干所有的事情，豆瓣以后做的时候会从这个方法中进行判断该从哪取东西。这个架构已经在了，只是现在还没有做这一步而已。Thanks