用搜尋引擎將IT管理化繁為簡GandalfHuangSplunkLab-IT搜尋實驗室產品經理精誠集團SystexGroupgandalfhuang@systex.com.tw•ITSearch:使用前vs.使用後Before:沒有IT搜尋引擎時,處理IT運維問題的方式例如:一個交易系統問題的查找過程ServiceDesk網路運維資料庫管理程式開發資訊安全系統管理監控面板並未顯示任何問題或報警花了很多時間在網路設備的日誌裡找到這個IP地址,也對應某個Websessioncookie查Websessioncookie指向某個UserID,應用程序呼叫與JDBCContainer呼叫錯誤找到與JDBC錯誤關聯的資料庫錯誤後發現某個DB功能被鎖住發現資料庫功能被鎖住是因為某個許可權錯誤問題所造成許可權錯誤原來是因為未經授權的配置變更所造成工單搜尋引擎可以全面處理IT資料Workswithanyapplication,serverornetworkdeviceAlert採集異質平台的資料.不需資料庫也不需正規化的轉換程式應用程式•Weblogs•Log4J,JMS,JMX•.NETevents•Codeandscripts網路設備•Configurations•syslog•SNMP•netflow資料庫•Configurations•Audit/querylogs•Tables•Schemas虛擬化•Hypervisor•GuestOS•GuestAppsLinux/Unix•Configurations•syslog•Filesystem•ps,iostat,topWindows•Registry•Eventlogs•Filesystem•sysinternalsAfter:用搜尋引擎將查找過程化繁為簡幾分鐘以內解決同樣的問題,而不是數小時或數天ServiceDesk搜索IP位址結果立刻顯示出相關的Websession與UserID搜索同一個時期的所有錯誤訊息,顯示出資料庫錯誤與許可權失敗的訊息搜索許可權變更permissionchanges相關訊息顯示有變更發生但是沒有工單的編號工單•ITSearch:我們是怎麼辦到的?77只要ITData能產出7短信數值traps&報警動態I/O設定檔日誌原始碼活動報告唯有IT搜尋引擎能夠克服ITData的特性•Everywhere到處都有,採集與發送方式都不同•Crossplatform(heterogeneous)跨平臺、跨廠牌、跨版本、跨格式•Flowing&fastmoving流動、快速移動•Massivevolume量大•Changesveryquickly變化快速•Timestamp原始時間戳記IT搜尋引擎具備的能力•支援任何資料採集方式‣Syslog,SNMP,ScriptedInput,FileInput,NetworkPort,FTP,SCP…•不需使用&不需開發轉譯器(parser/connector)‣不限作業系統、設備、廠牌、版本、格式,可採集所有資料•快速索引(Index)大量資料‣關鍵字:字串、數值、時間、欄位•快速搜尋(Search)大量資料‣長時間的資料量(日、月、年),大量的資料(GB+,TB+)•豐富的應用‣Alert,Report,Dashboard,API…IT搜尋引擎讓您輕鬆管理各種IT資料SearchyourITinfrastructureJ2EEexceptionLast60minutesfail*passwordsshdLast30minutesLast60minutesLast3hoursLast24hoursLast7daysAlltimeLast24hours現在你也可以擁有IT搜尋引擎IT搜尋引擎的特點在哪裡?•特點一Index(索引)-將LAN上面的異質設備、伺服器、作業系統、應用系統所產出的IT資料做排列與摘要•特點二搜尋引擎技術-利用獨特的資料儲存方式,快速找出你的資料•特點三互相關聯的資料-利用條件的方式,快速找出互相關聯的資料,例如:Username,IP地址,主機名稱称,錯誤特點四數學運算分析-利用數學運算能力,將搜索出的數據、欄位快速生成互相關聯性的分析、統計與報表IT搜尋引擎的好處與價值在哪裡?加快速度、簡化流程以最快的速度取得互相關聯性的資料與解決IT運營中的各種問題Splunk10大應用Splunk搜索快速索引、查詢異質IT資料•即時搜索快速查找互相關聯性的訊息•追蹤不同設備間關聯性的資料•搜索任何錯誤字眼、關鍵字、事件紀錄、伺服器、來源、欄位、交易與統計•分散式搜索跨越多個異地資料中心的Splunk伺服器15Splunk警報透過通知與動作進行主動式監控•根據定時搜索結果進行即時報警、通知與動作•可透過RSS、Email或SNMP通知安全或網管系統•通過ShellScript的方式可重新啟動伺服器或是發送派工單16Splunk報表分析統計搜索結果•結合快速與彈性化的搜索產生報表•按一下、即時地對大量的IT資料產生易懂的報表•無須制定複雜規則即可針對任何欄位內容產生報表•通過RSS或Email方式通知讀取報表17Splunk共用分享大家都可以輕易的分享知識與資訊18EventsFieldsTransactionscomplianceissueeventokrestartserverSplunk搜尋平台的安全性確保重要IT資料的安全性19認證所有的使用者與系統操作均需要被認證存取控制以搜尋過濾方式提供控制使用者訪問DataIntegrity資料完整性保護資料獲取、存儲與存取彈性的使用者授權60多種帳號授權方式稽核所有在splunk上的動作都會被記錄與保存做為審計之用SingleSign-on對應AD主動目錄或LDAP的用戶身分、許可權與群組SSLHTTPSDataSigningITSearchNetworkMgmtNetworkLogMgmtBusinessIntelligenceApplicationManagementTransactionMonitoringMessagingMgmtSecurityMonitoring&AnalysisIT搜尋引擎的應用ComplianceLogManagementServerManagementWindowsLogMgmtUnix/LinuxLogMgmtJ2EEMgmt.NetMgmtVirtualizationMgmtMessageTrackingExchangeMgmtWebAnalyticsITDataPlatformDatabaseMgmtISVFieldSupportE-commerceCustomerSupportCloudMgmtChangeDetection增加營收降低維運成本減少資安風險MSPs&MSSPs提升SLA21ITDataSearchEngine