6-python高级数据处理与可视化

Python高级数据与AdvancedDataProcessingandVisualizationofPython可视化DepartmentofComputerScienceandTechnologyDepartmentofUniversityBasicComputerTeaching处理NanjingUniversity聚类分析用Python玩转数据NanjingUniversity聚类•聚类分析(clusteranalysis)以相似性为基础把相似的对象通过静态分类的方法分成不同的组别或者更多的子集–特性•基于相似性•有多个聚类中心3NanjingUniversityK-MEANSK-均值算法表示以空间中k个点为中心进行聚类，对最靠近他们的对象归类。A任意选择k个对象作为初始聚类中心C计算每个新聚类的聚类中心B对每个点确定其聚类中心点D聚类完成不收敛收敛4NanjingUniversity一个日常小例子高数英语Python音乐小明88649685大明92999594小朋91879995大朋78999781小萌88789884大萌1009510092#Filename:kmeansStu.pyfrompylabimport*fromscipy.cluster.vqimport*list1=[88,74,96,85]list2=[92,99,95,94]list3=[91,87,99,95]list4=[78,99,97,81]list5=[88,78,98,84]list6=[100,95,100,92]data=vstack((list1,list2,list3,list4,list5,list6))centroids,_=kmeans(data,2)result,_=vq(data,centroids)printresultFileOutput:[011101]5scipy.cluster.vq更新后其参数只支持float和double，所以此处的数字都要+.0改成浮点数形式NanjingUniversity另一个例子#Filename:kmeansDJI.pylistDji=['AXP','BA','CAT','CSCO',…,'VZ','WMT','XOM']quotes=[[0forcolinrange(90)]forrowinrange(30)]listTemp=[[0forcolinrange(90)]forrowinrange(30)]foriinrange(30):quotes[i]=quotes_historical_yahoo_ochl(listDji[i],start,end)listTemp[i][j]=1or-1#1ifthelatterislargerthanformer,otherwisetheresultis-1data=vstack(listTemp)centroids,_=kmeans(data,4)result,_=vq(data,centroids)File按相邻两天的收盘价涨跌规律对2014年第3季度（7月-9月）构成道琼斯工业指数的30只股票聚类6同前一页，此处需要改成浮点数NanjingUniversity另一个例子Output:[033203011322012012211321301200]第1类第2类第3类第0类AXP,CVX,DIS,JNJ,MCD,UTX,WMT,XOMGE,GS,JPM,MMM,NKE,PFE,TRV,VCSCO,IBM,INTC,KO,MRK,MSFT,T,VZBA,CAT,DD,HD,PG,UNH7NanjingUniversityMATPLOTLIB绘图基础用Python玩转数据8NanjingUniversityMatplotlib绘图•Matplotlib绘图最著名Python绘图库，主要用于二维绘图–画图质量高–方便快捷的绘图模块•绘图API——pyplot模块•集成库——pylab模块（包含NumPy和pyplot中的常用函数）9NanjingUniversity数据源可口可乐公司近一年来股票收盘价的月平均价closeMeansKO=tempkodf.groupby('month').mean().closecloseMeansKOmonth138.589524237.047368337.795238…1042.4882611141.4295001239.201905Name:close,dtype:float64Source10NanjingUniversity折线图#Filename:closeMeansKO.pyimportmatplotlib.pyplotasplt…listKO=[]foriinrange(1,13):listKO.append(closeMeansKO[i])listKOIndex=closeMeansKO.indexplt.plot(listKOIndex,listKO)plt.show()File将可口可乐公司近一年来股票收盘价的月平均价绘制成折线图11NanjingUniversity折线图NumPy数组也可以作为Matplotlib的参数importnumpyasnpimportmatplotlib.pyplotaspltt=np.arange(0.,4.,0.1)plt.plot(t,t,t,t+2,t,t**2)plt.show()Source12NanjingUniversity散点图plt.plot(listKOIndex,listKO,'o')plt.plot(listKOIndex,listKO)将可口可乐公司近一年来股票收盘价的月平均价绘制成散点图13NanjingUniversity柱状图plt.bar(listKOIndex,listKO)plt.plot(listKOIndex,listKO)将可口可乐公司近一年来股票收盘价的月平均价绘制成柱状图14NanjingUniversitypylab绘图numpy数组也可以作为matplotlib的参数importnumpyasnpimportpylabasplt=np.arange(0.,4.,0.1)pl.plot(t,t,t,t+2,t,t**2)pl.show()Source15NanjingUniversityMATPLOTLIB图像属性控制用Python玩转数据NanjingUniversityMatplotlib属性文字和字体属性坐标轴和网格属性子图(axes)子区(subplots)色彩和样式线宽每英寸点数图像大小Matplotlib可以控制的默认属性……17NanjingUniversity色彩和样式plt.plot(listKOIndex,listKO,'rD')plt.plot(listKOIndex,listKO,'g--')绘图颜色和线条类型和样式可以更改吗？18NanjingUniversity色彩和样式符号颜色bblueggreenrredccyanmmagentaYyellowkblackwwhite线型描述'-'solid'--'dashed'-.'dash_dot':'dotted'None'drawnothing''drawnothing''drawnothing标记描述ocirclevtriangle_downssquareppentagon*starhhexagon1+plusDdiamond……19NanjingUniversity文字加标题：图、横轴和纵轴#Filename:closeMeansKO.pyimportmatplotlib.pyplotasplt…listKO=[]foriinrange(1,13):listKO.append(closeMeansKO[i])listKOIndex=closeMeansKO.indexplt.plot(listKOIndex,listKO)plt.title('StockStatisticsofCoca-Cola')plt.xlabel('Month')plt.ylabel('AverageClosePrice')plt.show()File20NanjingUniversity其他属性#Filename:multilines.pyimportpylabasplimportnumpyasnppl.figure(figsize=(8,6),dpi=100)t=np.arange(0.,4.,0.1)pl.plot(t,t,color='red',linestyle='-',linewidth=3,label='Line1')pl.plot(t,t+2,color='green',linestyle='',marker='*',linewidth=3,label='Line2')pl.plot(t,t**2,color='blue',linestyle='',marker='+',linewidth=3,label='Line3')pl.legend(loc='upperleft')File21NanjingUniversity子图-subplotsplt.subplot(211)plt.subplot(212)plt.subplot(121)plt.subplot(122)plt.subplot(221)plt.subplot(222)plt.subplot(223)plt.subplot(224)22NanjingUniversity子图-subplots将可口可乐公司和IBM公司近一年来股票收盘价的月平均价绘制在一张图中…#ThedataofCoca-ColaandIBMisreadysubplot(211)matplotlib.axes.AxesSubplotobjectat0x08B90CD0plt.plot(listKOIndex,listKO,color='r',marker='o')[matplotlib.lines.Line2Dobjectat0x04BA5310]subplot(212)matplotlib.axes.AxesSubplotobjectat0x08B90110plt.plot(listIBMIndex,listIBM,color='green',marker='o')[matplotlib.lines.Line2Dobjectat0x08917830]Source23NanjingUniversity子图-axes将可口可乐公司和IBM公司近一年来股票收盘价的月平均价绘制在一张图中…#ThedataofCoca-ColaandIBMisreadyplt.axes([.1,.1,0.8,0.8])matplotlib.axes.Axesobjectat0x08926210plt.plot(listIBMIndex,listIBM,color='green',marker='o')[matplotlib.lines.Line2Dobjectat0x0887EF70]plt.axes([.3,.15,0.4,0.4])matplotlib.axes.Axesobjectat0x08E0C690plt.plot(listKOIndex,listKO,color='r',marker='o')[matplotlib.lines.Line2Dobjectat0x08AF3910]Sourceaxes([left,bottom,width,height])参数范围为(0,1)24NanjingUniversityPANDAS作图用Python玩转数据NanjingUniversityPython实例plt.plot(closeMeansKO)plt.t