大数据分析系统中的统计学理论应用58

Statistics&ActuarialScience统计学院数据与统计学思考大Statistics&ActuarialScience统计学院内容提要大数据：真的是大忽悠吗？科学研究与统计分析：从公式到范式。统计之道：频率贝叶斯---回归自然！Statistics&ActuarialScience统计学院大数据：定义辨析（大忽悠？）大数据（巨量资料（IT行业术语））[1]大数据技术(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。[2]大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。[3]大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、value（价值）Statistics&ActuarialScience统计学院大数据：最形象的定义Statistics&ActuarialScience统计学院大数据：最容易理解的定义明道副总裁许维只要1000个字文科生也能理解大数据Statistics&ActuarialScience统计学院1000字从这里开始——水这个东西大家都见过。当你有一杯水的时候，你可以喝它。当你有一盆水的时候，你可以用它洗脸。当你有一浴缸水的时候，你可以用它泡澡。当你有一游泳池水的时候，你可以用它游泳。当你有一西湖水的话，你可以用它划船泡妹子。当你有一运河水的时候，你可以用它运粮食。当你有一长江水的时候，你可以来往于中国的西部和东部。当你有一大西洋水的时候，你就可以发现新大陆了！Statistics&ActuarialScience统计学院内容提要大数据：真的是大忽悠吗？科学研究与统计分析：从公式到范式。统计之道：频率贝叶斯---回归自然！Statistics&ActuarialScience统计学院2009科学研究与统计分析：从公式到范式。Statistics&ActuarialScience统计学院千年前百年前十年前目前日心说三大定律模拟仿真云计算用的人越来越简单；（傻）做的人越来越复杂。（智慧）Statistics&ActuarialScience统计学院一进：计算机摆放的位置腿上—笔记本掌上-手机桌上–台式机脸上-？？Statistics&ActuarialScience统计学院一退：人类手指的功能钢笔—3个指头屏幕-2个大拇指毛笔–4个指头无指办公-语音识别Statistics&ActuarialScience统计学院BradleyEfron：FutureofIndirectEvidence2010Statistics&ActuarialScience统计学院JAMES–STEINESTIMATIONBradleyEfron：FutureofIndirectEvidenceStatistics&ActuarialScience统计学院LARGE-SCALEMULTIPLEINFERENCEStatistics&ActuarialScience统计学院科学研究与统计分析：从公式到范式。2010上上个世纪-B时代–贝叶斯上个世纪-F时代–频率学派本世纪---B-F时代–经验贝叶斯Statistics&ActuarialScience统计学院内容提要大数据：真的是大忽悠吗？科学研究与统计分析：从公式到范式。统计之道：频率贝叶斯---回归自然！Statistics&ActuarialScience统计学院自然科学的确定性数学欧拉L·Euler1707—1783物理E=MC2爱因斯坦AlbertEinstein(1879-1955)有规律发现规律最美的公式最残忍的公式Statistics&ActuarialScience统计学院没有规律创造规律经济问题的不确定性Statistics&ActuarialScience统计学院摸着石头过河社会科学的复杂性Statistics&ActuarialScience统计学院“白骨精”的第三种能力Statisticalthinking统计：最黄色（SEX）的专业Statistics&ActuarialScience统计学院H.G.WellsStatisticalthinkingwillonedaybeasnecessaryforefficientcitizenshipastheabilitytoreadandwrite!统计思维：至理名言Statistics&ActuarialScience统计学院《时间机器》（TheTimeMachine,1895年）《隐形人》（TheInvisibleMan，1897年）《星际战争》（TheWaroftheWorlds，1898年）《最早登上月球的人》（TheFirstMenintheMoon，1901年）统计思维：统计与科幻Statistics&ActuarialScience统计学院东西方思维的差距Statistics&ActuarialScience统计学院贝叶斯统计思维：中西方的融合Statistics&ActuarialScience统计学院Bayes'Theoreminthe21stCenturyBradleyEfronDepartmentofStatistics,StanfordUniversity,Stanford,CA94305,USA.E-mail:[e-mail]heoremsoundslikeanoxymoron,butBayes'theoremhasplayedthispartfortwo-and-a-halfcenturies.Twiceithassoaredtoscientificcelebrity,twiceithascrashed,anditiscurrentlyenjoyinganotherboom.Thetheoremitselfisalandmarkoflogicalreasoningandthefirstserioustriumphofstatisticalinference,yetisstilltreatedwithsuspicionbymoststatisticians.Therearereasonstobelieveinthestayingpowerofitscurrentpopularity,butalsosomesignsoftroubleahead.2013年6月科学与统计Statistics&ActuarialScience统计学院我的管理之道很简单：贝叶斯思维RiskandUncertaintyinMonetaryPolicyAlanGreenspanVol.94,No.2,May2004金融与统计Statistics&ActuarialScience统计学院18世纪的贝叶斯定理成为Google计算的新力量信息与统计Statistics&ActuarialScience统计学院确定性问题：奥数(不能用方程)（对青少年的影响：）小学生的例子：鸡兔同笼问题。土豪解法：让鸡一屁股坐下来（微信）Statistics&ActuarialScience统计学院不确定性问题：一艘船上，牛99只，羊44只，船长多大？中学生的例子：牛羊与船长。上海奥数班全班同学统一答案：99-44=55岁外国专家的题不会错：（做不出对不起老师）；要用数学方法（乘法离谱，加法太大，除法太小）船长有胡子；（与生俱来的贝叶斯思维，船长太太多大？）Statistics&ActuarialScience统计学院如果一个班级100人，只有2个人的身高数据，全班的平均身高是多少？大学生的例子：2个人的身高Statistics&ActuarialScience统计学院频率学派：加权平均；几何平均；Bootstrap……统计思维Statistics&ActuarialScience统计学院贝叶斯学派：收集身高之外的信息性别、地域、籍贯、专业……北京理工平均身高广西理工统计思维Statistics&ActuarialScience统计学院统计思维广西的葱北京的Statistics&ActuarialScience统计学院进一步：身高与专业的关系财政金融平均身高统计学院？统计思维Statistics&ActuarialScience统计学院定量数据科学定性先验艺术Statistics&ActuarialScience统计学院统计学是什么？大数据小结论Statistics&ActuarialScience统计学院贝叶斯统计推断是什么？数据结论计算先验信息先验是否可靠、科学？无论圈再大，圈外一定比圈内大Statistics&ActuarialScience统计学院如果一枚硬币被连续抛100次，每次都是正面朝上，那么，抛第101次时，正面朝上的概率是多少？先验Statistics&ActuarialScience统计学院经典（频率）统计学观点的推断50%贝叶斯统计学观点则认为：第101次时正面朝上的概率会大大高于50%100次连续正面朝上，证明该硬币不均衡或两面均为正面。理想状态：独立真空现实Statistics&ActuarialScience统计学院思考频率统计学：客观、科学、……贝叶斯统计学：主观、唯心、先验……为什么我们有时不能用频率的思想很多复杂问题仅有科学是不够的（艺术、哲学、宗教、邪教）Statistics&ActuarialScience统计学院很多问题没法靠“投硬币”解决Bayesianinferenceisusedallthetimeineverydaylife：•Whatarethechances…–thatIgainfromthisinvestment…–thatitwillraintomorrow…–thatIamstillaliveaftercrossingthisroad…–升官–发财无法重复试验，机会只有几次Statistics&ActuarialScience统计学院先验盲人摸象不同人不同角度常人看图相同人相同角度Statistics&ActuarialScience统计学院家庭背景成长地域学习过程工作经历人际交往……（正确或错误）经验先验结合实际小到持家（毛&邓）大到治国(胡&习)决策Statistics&ActuarialScience统计学院贝叶斯主义“悖论”无论你是否相信贝叶斯理论，你都是一个贝叶斯主义者。不相信，为什么不相信，（理由有……）但无论理由有多充分，你都无法回避：“不相信”本身也是一种你头脑中的“先验”！而且，“不相信”的程度要比“相信”更严重[爱与恨相比：爱只会心痛，恨可能要命]相信，显然；Statistics&ActuarialScience统计学院人的最重要的一种能力—处理不确定性Statistics&ActuarialScience统计学院绞尽脑汁——从不确定性中寻找“很可能”Statistics&ActuarialScience统计学院统计思维：把不可能变成可能Statistics&ActuarialScience统计学院MCMC与千岛湖：统计、计算机与艺术参见：MCMC的发展与现代贝叶斯的复兴2014（02），统计与信息论坛Statistics&ActuarialScience统计学院总结贝叶斯与频率的融合复杂与简单的融合统计与计算机的融合Statistics&ActuarialScience统计学院不久的将来，高等数学会变成“甲骨文”；（博物馆）统计会变成职能机的一个集成模块；（左脚离合）最流行的专业：旅游系（爸爸去哪?）音乐系（中国好声音！）大胆猜测（2014.12.21）Statistics&ActuarialScience统计学院【TED】美国（2009）人人学统计间接证据Statistics&ActuarialScience统计学院（1934年-2005年）陳希孺中國科學院院士Arnold