搜索
SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際ClementineClementine中文版中文版產產品品說說明明會會LilianChiuLilianChiuSPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際研討會議程研討會議程§資料採礦§資料採礦的誕生背景§資料採礦到底是什麼？§資料採礦能幫我們做些什麼？§資料採礦的方法及使用時機§如何進行一個資料採礦計畫？§資料採礦最佳工具–Clementine中文版§無語言障礙的全中文化介面§Windows作業環境，操作立刻上手§和標準資料採礦流程CRISP-DM結合SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際研討會議程研討會議程§Clementine中文版功能介紹§Clementine在商業理解階段的功能§Clementine在資料理解階段的功能§Clementine在資料預備階段的功能§Clementine在塑模階段的功能§Clementine在評估階段的功能§Clementine在部署階段的功能§Clementine的其他特色（混合模型、CEMI、Script等）§範例§總結SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際DataMiningDataMining資資料料採採礦礦SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的誕生背景資料採礦的誕生背景§資料可以如何被應用？§查詢§報表§OLAP§統計分析把需要的資訊從資料庫中撈出來，僅能看到表面的文字／數字，如：查詢訂單是否出貨、查詢客戶的信用卡帳單繳費狀況等把資料庫中的資料整理成有用的資訊，比查詢的資訊又更進一步，但仍只是表面的。如：業績報表、產品銷售月報表等。不光是能把資料的狀況呈現出來，還可以從多個不同的面向同時去看資料。如：購物電視台看北部地區、早上時段、對向為家庭主婦的業績。但缺點仍是只能看到表面的現象，卻不知此現象為何出現除了可以看到表面的現象，已經可以更深入探討發生的原因了，如：用統計檢定來確定撥出節目的時段是否為影響業績的重要因素但，資料量過大檢定必定顯著的問題如何解決？又要如何決定要檢定哪些變數？SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的誕生背景資料採礦的誕生背景§這些做法提供足夠的資訊了嗎？§看到一個現象的發生，難道我們不能從資料中再找出是哪些因素導致這個現象的嗎？如：知道貸款業務的業績不好，為什麼會不好？§如果要找出導致這個現象發生的原因，一定得要一個一個變數去嘗試嗎？如：嘗試檢定業務員年資是否和業績有關、再嘗試檢定其他所有變數，那如果有一千個變數要花多少時間呢？SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的誕生背景資料採礦的誕生背景在資料又多又便宜，多到人都沒時間去看的時代，到底什麼方法能幫我們從資料中找出真正的價值？資料採礦DataMiningSPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際何謂資料採礦？何謂資料採礦？§資料採礦的定義：§Dataminingistheprocessofseekinginterestingorvaluableinformationinlargedatabases.–D.Handetal（資料採礦是一個在大型資料庫中尋找有趣或是有價值的資訊的一個過程）SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際何謂資料採礦？何謂資料採礦？§資料採礦是什麼？§資料採礦並不只是一種技術或是一套軟體，而是一種結合數個領域的專業技術，並將之運用來找出資料中資訊的一個流程。SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際何謂資料採礦？何謂資料採礦？§資料採礦就能解決前述的問題嗎？§資料採礦不只能協助您看資料表面的現象，也能盡一步幫您找出是什麼原因造成所看到的結果§資料採礦不用假設檢定，也因此不會局限在自身先入為主的想法中（如：可能有人認為該檢定推銷時段和業績的關係，有人卻不會想到這一層而沒去檢定。）§資料採礦沒有資料量的限制，不會有資料量太大而造成一定顯著的盲點SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦和資料採礦和OLAPOLAP的不同的不同§OLAP§On-LineAnalyticalProcess§對手邊資料的多維度呈現§無法呈現隱藏行為模式§對現有資料的分析§資料採礦§包括對手邊資料的呈現，以及OLAP無法呈現的隱藏行為模式§除了分析過去資料，也可以預測未來§比OLAP提供更深入的資訊SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦和資料採礦和OLAPOLAP的不同的不同BusinessValueTimeQuery&ReportingOLAPDataMiningReal-timePersonalizationMeasurement(historical)Prediction(future)這個月有多少客戶流失這些流失的客戶是位於哪個地區?客戶流失的原因是?我們應即時提供客戶什麼服務來挽留？FromSPSSWhitePaperSPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦和統計分析的不同資料採礦和統計分析的不同§統計分析（推論）§先假設再檢定§母體參數未知§資料量不會太大§許多方法有前題要符合§資料採礦§沒有事先假設§多數狀況下母體參數已知§資料量越大越好，小資料也可以挖只是較不可靠SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦和統計分析的整合資料採礦和統計分析的整合§資料採礦和統計分析就八竿子打不著嗎？§資料採礦融合各種知識，包括統計、MachineLearning、人工智慧、基因等領域§可利用統計量來協助了解資料的特性§資料採礦在適合的狀況下也可以使用如迴歸、主成份分析等統計分析的演算法§資料採礦做出的結果也可以用統計去做驗證§…SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§描述(Description)§分群(Clustering)§分類(Classification)§估計(Estimation)§預測(Prediction)§關聯規則(Association)SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§描述§利用圖形、統計量、規則等方式去描述資料，以進一步了解資料的狀況，利於接下來的採礦工作進行SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§分群§想知道資料中有哪些近似的群組，並沒有事先定義每一群組的標準，由演算法透過資料的屬性來找出哪些資料是相近的，再去解讀每一群所代表的是哪一種人§如：電信業者想把眾多的客戶分群來擬定不同的策略，結果分出數群，去探究各群的特質，發現有一群是學生年輕人會因為手機配綁門號便宜而續用，另一群則是住外上班族完全費率考量，業者則可用不同的行銷方案來留住這些客戶§搜尋引擎–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§分類§目的是將資料分成幾個有興趣的類別（且必需已經事先定義這些類別）§如：航空公司的客戶分成「VIP」、「一般」、「不受歡迎」三類，未來可用於Up-Selling讓客戶升級§如：銀行將客戶分成「會用現金卡」、「不會用現金卡」兩類，對於被分類到「會用現金卡」但還沒有辦現金卡的客戶，可進行推銷§超級明星臉（點選tryit→上傳自己照片→preview→分別點選兩個眼睛→submit）SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§估計§和分類最大的不同點，在於分類的目標是類別的，估計的目標是連續的§如：超商估計每一家門市對每一種商品的需求量（連續變數），進而掌控有效的供貨，不會缺貨又不會供應過多而過期§如：配合現金卡的分類，將分到「會使用現金卡」的客戶再進一步「估計」會預借的金額SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§預測§把分類或估計的模型用於對未來的預測§如：已經建立了現金卡發卡與否的分類模型以及預借金額的估計模型，有新的客戶資料可以交給模型來做預測，預測出是否該推薦現金卡給此客戶，以及此客戶將來會預借多少金額，帶來多少價值SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦有哪些方法？資料採礦有哪些方法？§關聯規則§可以找出各類別變數（有演算法可用連續變數）間的關聯性，呈現結果為A+B+C-D的形式（解讀為：當ABC都發生時，D也會發生）§如：保險公司把客戶的基本資料跟購買記錄拿來做關聯分析，結果可以得到有用的規則，如「已婚」+「年齡40」+「男姓」+「已購買A險」-「B險」，公司就可以針對此類客戶推銷B險SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的應用資料採礦的應用§交叉銷售§利用關聯分析找出哪些商品是習習相關的§也可將個人資料一起加入分析§找出最佳客戶§利用分類分出信用佳的客戶、消費高的客戶、有新產品就會嘗試的客戶…等等§客戶區隔§用分群將屬性相近的客戶找出來，針對不同群體提供對應的服務SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的應用資料採礦的應用§犯罪偵測§透過資料採礦預測犯罪機率、傾向、模式…等等，進而粹取出犯罪者的側寫資料，預防犯罪§詐欺分析§台灣財政部估計台灣一年的保險詐欺金額高達300億§台灣信用卡盜刷目前已突破30億§透過資料採礦提前偵測具詐欺傾向的客戶特性，防範不必要的龐大損失SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際資料採礦的應用資料採礦的應用§除了上述的主題外，各行各業也都可以用資料採礦解決自身遭遇的問題§用各種天氣資料做氣象預報§用交通資料做紅綠燈控制及道路規劃§用體檢資料做疾病判斷§用基因資料來預防遺傳性疾病§用影像資料來做臉孔比對§用文字新聞資料來做資訊分類§……SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際如何進行一個良好的資料採礦計畫？如何進行一個良好的資料採礦計畫？§資料採礦標準流程CRISP-DM（Cross-IndustryStandardProcessforDataMining）§SPSS和NCR在1996年為克萊斯勒做資料採礦時訂出的一套標準程序，集合專家意見修訂，目前版本為1.0§分為六大步驟§商業理解(BusinessUnderstanding)§資料理解(DataUnderstanding)§資料預備(DataPreparation)§塑模(Modeling)§評估(Evaluation)§部署(或佈署)(Deployment)SPSSTaiwan–宏德國際SPSSTaiwanSPSSTaiwan––宏德國際宏德國際如何進行一個良好的資料採礦計畫？如何