搜索
数据挖掘现状及发展方向制作人：丁鹏指导教师：黄振华主要内容MainContents123数据挖掘的含义及功能数据挖掘问题及应用现状4数据挖掘研究热点数据挖掘技术的三大支柱5数据挖掘的未来发展方向含义•含义数据挖掘就是从海量的数据（包括结构化和非结构化）中挖掘出隐含在其中的、事先不为人知的、潜在的、有用信息和知识的技术。这些信息是可能有潜在价值的，是用户感兴趣的、可理解、可运用的，支持决策，可以为企业带来利益，或者为科学研究寻找突破口。数据挖掘所能发现的知识：广义型特征型差异型关联型预测型偏离型功能•功能关联规则和序列模式的发现：预测及偏差检测AAA功能聚类ABC分类按照分析对象的属性、特征，建立不同的组类来描述事物。。识别出分析对内在的规则，按照这些规则把对象分成若干类。。关联是某种事物发生时其他事物会发生的这样一种联系。预测：把握分析对象发展的规律，对未来的趋势做出预见。偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。存在的问题•存在的问题数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显的非常复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题。面对如此大的数据，现有的统计方法等都遇到了问题，我们直接的想法就是对数据进行抽样，那么怎么抽样，抽取多大的样本，又怎样评价抽样的效果，这些都是值得研究的难题。既然数据是海量的，那么数据中就会隐含一定的变化趋势，在数据挖掘中也要对这个趋势做应有的考虑和评价。010203同时数据挖掘技术也面临着许多的问题，这也为数据挖掘未来的发展提供了更大的空间。•存在的问题各种不同的模型如何应用，其效果如何评价。不同的人对同样的数据进行挖掘，可能产生不同的结果，甚至差异很大，这就涉及到可靠性的问题。当前互联网的发展迅速，如何进行互联网的数据挖掘，还有文本等非标准数据的挖掘，都引起了极大的兴趣。0405数据挖掘涉及到数据也就碰到了数据的私有性和安全性。06数据挖掘的结果是不确定的，要和专业知识相结合才能对其做出判断。07应用现状•应用现状01商场从顾客购买商品中发现一定的关联规则，提供打折、购物券等促销手段，提高销售额；02保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润；03在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量；04电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计；数据挖掘的应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：•成功典例BassExportAutoTrader.comReuteres其运用了SAS软件进行数据挖掘，每天对数据进行分析，找出用户的访问模式，对产品的喜欢程度进行判断，并设特定服务，取得了成功。在海外80多个市场从事交易，每个星期传送23000份定单，这就需要了解每个客户的习惯，如品牌的喜好等，BassExport用IBM的IntelligentMiner很好的解决了上述问题。Reuteres用SPSS的数据挖掘工具SPSS/Clementine，建立数据挖掘模型，极大地提高了错误的检测，保证了信息的正确和权威性。三大支柱•三大支柱数据库技术1人工智能技术2概率与数理统计3•三大支柱随着DMKD研究逐步走向深入，人们越来越清楚地认识到，DMKD的研究主要有3个技术支柱，即数据库、人工智能和数理统计。因此，在需求的驱动下，很多数据库学者转向对数据仓库和数据挖掘的研究，从对演绎数据库的研究转向对归纳数据库的研究。数据库人们正视现实生活中大量的、不完全的、有噪声的、模糊的、随机的大数据样本，从而与数据仓库技术相结合，转向数据挖掘技术。建立语义关联，促进有效连接人工智能一旦人们有了从数据查询到知识发现、从数据演绎到数据归纳的要求，概率论和数理统计就获得了新的生命力。概率统计研究热点•研究热点网站的数据挖掘在对网站进行数据挖掘时，所需要的数据主要来自于两个方面：一方面是客户的背景信息，此部分信息主要来自于客户的登记表；而另外一部分数据主要来自浏览者的点击流（Click-stream），此部分数据主要用于考察客户的行为表现。但有的时候，客户对自己的背景信息十分珍重，不肯把这部分信息填写在登记表上，这就会给数据分析和挖掘带来不便。在这种情况之下，就不得不从浏览者的表现数据中来推测客户的背景信息，进而再加以利用。生物信息或基因的数据挖掘研究热点对于生物信息或基因的数据挖掘和通常的数据挖掘相比，无论在数据的复杂程度、数据量还有分析和建立模型的算法而言，都要复杂得多。从分析算法上讲，更需要一些新的和好的算法。现在很多厂商正在致力于这方面的研究。但就技术和软件而言，还远没有达到成熟的地步。未来的研究方向•未来研究方向形式化描述的语言，即研究专门用于知识发现的数据挖掘语言DMQL，类似SQL语言一样走向形式化和标准化；可视化的数据挖掘过程，寻求数据挖掘过程中的可视化方法，使知识发现的过程易于被用户理解和操纵，可使数据挖掘过程成为用户业务流程的一部分，也便于在知识发现的过程中进行人机交互；包括数据用户化呈现与交互操纵两部分。•未来研究方向Web网络中数据挖掘的应用，特别是在Internet上建立数据挖掘服务器，与数据库服务器配合，实现数据挖掘，从而建立强大的数据挖掘引擎与数据挖掘服务市场。融合各种异构数据的挖掘技术，加强对各种非结构化数据的开采（DataMiningforAudio＆Video），如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体数据的开采；•未来研究方向处理的数据将会涉及到更多的数据类型，这些数据类型或者比较复杂，或者是结构比较独特。为了处理这些复杂的数据，就需要一些新的和更好的分析和建立模型的方法，同时还会涉及到为处理这些复杂或独特数据所做的费时和复杂数据准备的一些工具和软件。交互式发现及知识的维护更新。结束语•结束语不管怎样，需求牵引与市场推动是永恒的，DMKD将首先满足信息时代用户的急需，大量的基于DMKD的决策支持软件产品将会问世。只有从数据中有效地提取信息，从信息中及时地发现知识，才能为人类的思维决策和战略发展服务。也只有到那时，数据才能够真正成为与物质、能源相媲美的资源，信息时代才会真正到来。谢谢