机器学习与数据安全--庄骏

机器学习与数据安全庄骏CTO如何应对海量数据挑战?SMTP大数据声音视频PDF数据库数据仓库/集市WordOutlookPowerPointExcelWPSXMLHTML非结构化数据互联网应用网络传输结构化数据大数据图片多媒体数据领导层关心的数据治理难题•组织拥有哪些关键数据?•关键数据位于组织何处?•监控敏感数据的使用和风险?•应对内部威胁和外部威胁?•如何满足监管机构的合规要求?数据分类分级已成为最佳实践《中国银行业信息科技“十三五”发展规划监管指导意见》(征求意见稿）第四节推进信息资产分类分级管理，加大敏感信息保护力度推进信息资产识别和分类、分级工作，建立信息资产分级标准、规范，明确安全策略和保护要求，落实管理责任，确保信息资产分类分级管理范围的全面覆盖。加强敏感信息保护，重点加强客户身份、账户等重要电子信息的保护，深入评估客户敏感信息在创建、存储、使用、传输和销毁等过程中的安全风险，综合运用多因素认证、访问控制、边界防护、泄密检测、密码算法和技术、数据脱敏和安全审计等手段，切实提高客户身份认证和验证强度，防范敏感数据泄露、篡改、丢失和非授权访问等风险。数据梳理技术演示要点总结•机器学习、自然语言处理、聚类和分类•无监督机器学习引擎：分析大量未经标注的原始文档集，自动按照内容进行主题梳理，并可人工干预灵活调整语义相似度，获得满意的聚类效果•有监督机器学习引擎：将聚类结果作为标注样本，提取短句作为语义特征，自动生成文本分类规则库，期间用户亦可人工干预特征选择过程，也可使用对照反向样本加强训练•实时分类引擎：将规则分发至部署在组织中各端点、服务器、和网络等处的轻量化分布式分类器，即可实时感知关键数据的分布和使用状况，为数据治理提供基础支撑•自然语言处理引擎：支持上述引擎的基础能力机器学习的两种应用发展方向•海量数据•大规模基础设施•强计算能力且可扩展•强运维•电量和散热•少量流数据•嵌入式•弱计算能力限制•低介入•低能耗集中式后置分布式前置大数据安全分析平台终端IoTPonemonInstitute数据安全现状调查结论敏感数据分布位置不明，最令管理者寝食难安数据分类是首选的数据资产保护技术Gartner力推“以数据为中心的安全”架构“数据分类”已经成为核心能力CIO的技术兴趣和投资计划以数据为中心的治理和安全架构SaaS数据治理和安全平台功能数据分类分级可视化集中管理（策略、权限、分布、风险、事件、和报表）发现加密归档脱敏销毁标识监控审计APT阻断数据库终端BYOD服务器网络业务系统大数据数据仓库/集市云社交……统一管理企业中结构化和非结构化数据数据治理和安全平台作用范围第三方应用开发测试经营分析协同治理保护数据发现与可视化是全生命周期管理的基础逐层钻取分级、分类、部门、用户、邮件、终端、云等支持条件查询的关键数据分布用户行为分析也需要数据分类能力50,000500日志条数/终端·天全日志敏感数据相关•海量数据•存储和计算都是成本•数据处理和挖掘难度•网络和服务器负担•行为基线难以归纳•异常侦测模式复杂•基于业务特性的降维•使用敏感数据的行为用户行为可视化分析的实例服务器下载行为文档溯源追踪防止外部入侵盗取数据的最后一道防线•终端用户行为历史，如A部门用户每天平均访问220次关键数据•外发敏感数据行为历史，如用户、设备、时间、频率、和目的地等•内部业务系统和服务器敏感数据访问历史•业务系统之间、端点设备之间、子网络之间的敏感数据传输基线•超过正常访问敏感数据次数5倍以上•使用压缩软件RAR打包大量敏感数据•向USB设备中密集大量拷贝敏感数据•用户或设备频繁外发加密文件•从内部服务器下载大量表单等数据•大量访问恶意域名（DNS隐蔽信道点滴外传）异常侦测APT防御中的异常行为分析数据分类，不仅是数据安全最佳实践，更可以创造商业价值‐加强组织内跨团队、功能、和流程对数据管理、分析、和处置的能力‐突出显示可用的数据，以更好地支持新业务计划‐协调和强化信息治理规范和流程，使其更好地变成有利于商业的能力‐催化以数据驱动的企业文化，倡导创新方式使用数据，从而孵化一系列全新的增值业务成果如何向董事会汇报成果?安全业务‐某公有云服务商受监管要求监控其用户是否存在发布不良信息现象‐安全团队建立了持续监控平台，利用内容识别技术，实现大规模网站分类‐初期只支持黄赌毒、宗教、暴恐、社区等分类‐安全团队进一步拓展网站分类至细分行业，例如贸易、股票、小贷、旅游等‐细分行业数据结合客户其它信息进行数据分析，成为管理层决策重要基础‐未增加成本，安全为业务发展贡献了巨大商业价值实例：从安全扩展到业务，提供显著价值