计算广告_刘鹏

计算广告刘鹏微博：@北冥乘海生互联网广告概述广告的作用•什么是广告(Advertising)？–广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。•广告的主体–出资人(sponsor)即广告主(advertiser)，媒介(medium)，受众(audience)•广告的本质–是借助某种有广泛受众的媒介的力量，完成较低成本的用户接触(reach)关于互联网广告•在线广告支撑了整个互联网行业的大半壁江山。不了解互联网广告，就不可能深入了解互联网。•互联网广告是迄今为止，大数据领域唯一形成规模化营收的应用。•互联网广告是结合了计算技术、心理学、经济学、营销学等的综合应用。美国互联网广告增长趋势中国互联网广告增长趋势品牌广告(BrandAwareness)•创造独特良好的品牌或产品形象,目的在于提升较长时期内的离线转化率效果广告(DirectResponse)•有短期内明确用户转化行为诉求的广告。用户转化行为例如：购买,注册,投票,捐款等.•InteractiveAdvertisingBureau•在线广告供给方的行业协会，推动数字化市场营销行业的发展•制定市场效果衡量标准和在线广告创意的标准•会员:Google,Yahoo,Microsoft,Facebook等•AmericanAssociationofAdvertisingAgencies•主要的协议是关于广告代理费用的收取约定(17.65%)，以避免恶意竞争•主要集中在创意和客户服务，在线业务是一部分•会员：Ogilvy&Mather,JWT,McCann等,Dentsu等非4A会员的大公司但也被列为4A公司•AssociationofNationalAdvertisers•主要代表广告需求方的利益(也有媒体和代理会员)•会员：AT&T,P&G,NBA等广告行业协会互联网广告产品与市场概念：变现、广告与销售•目的：通过引入付费方(sponsor)指定的的内容，为媒体带来收入•效果：单位流量的收益(RPM)变现Monetization•目的：通过媒介传播某种企业形象或产品信息•效果：某特定人群的有效到达(reach),多渠道综合的ROI广告Advertising•目的：提升产品销量，从而提高企业收益•效果：收入和利润销售sales潜在用户有较明确需求者媒体价值媒体概念的差异化在线广告类型•条幅广告(Banner)•文字广告(Textual)•邮件营销(EDM)在线广告类型•视频广告(video)•富媒体广告(RichMedia)在线广告简史搜索广告上下文广告CPM定向广告CPD广告精准定向广告广告网络广告交易市场线下广告竞价合约•什么是流量变现？–站内流量RPM水平的不断提升–典型产品：搜索广告、导航广告、门户品牌广告、社交网站信息流广告•什么是数据变现？–获取站外流量，通过对用户行为的理解，提升其RPM水平从而获得差价–是流量变现的护城河，不断吸引广告主的关键–典型产品：AdNetwork(网盟),DSP，DMP流量变现vs数据变现•广告网络(网盟，AdNetwork)–承接媒体剩余流量，同时接入长尾广告主，在流量与媒体之间撮合变现的产品–百度联盟、阿里妈妈、Adsense•自助交易终端(AutoTradingDesk)–服务于广告主，在各种不同类型的广告网络和媒体上一站式采买流量的产品•广告交易市场(AdExchange)–承接媒体剩余流量，并以实时竞价的方式进行广告交易的产品–淘宝Tanx，GoogleAdx,百度BES数据变现产品形式•需求方平台(DemandSidePlatform,DSP)–代表广告主，按照灵活的人群划分，以实时竞价的方式从AdExchange里采买流量的产品–MediaV聚效、Invitemedia、好耶Winmax、品友•网站分析(WebAnalytics,WA)–帮助网站主分析站内流量来源和效果的工具–GA、百度统计、量子统计、聚合分析•数据管理平台(DataManagementPlatform,DMP)–收集广告主或媒体端数据，在确保用户隐私的前提下加工成标签，在广告市场上售卖–是WA产品的自然延伸数据变现产品形式互联网广告市场供给方(Supply)需求方(Demand)相关公司产品布局产品类型搜索营销聚优广告发布系统广告交易平台BES广告网络DSPATD网站分析/DMP广告安全In-app移动广告联盟App统计计算广告基础知识互联网广告技术特点•技术和计算导向–数字媒体的特点使在线广告可以按人群投放–广告决策和交易朝着计算驱动的方向发展•可衡量性–广告的点击是效果的直接收集途径–98至今，Banner点击率从10%降至0.1%•标准化–技术投放和精准定向促进了在线广告标准化–在标准化方面做了很多贡献广告有效性模型曝光(exposure)关注(attention)理解(comprehension)信息接受(messageacceptance)保持(retention)购买(purchase)阶段主要原则1.1.主要取决于广告位的天然属性2.1不要干扰或打断用户的任务2.2明确揭示推荐的原因2.3符合用户兴趣或需求3.1广告在用户能理解的兴趣范围3.2与关注程度相匹配的理解门槛4.1广告商/广告认可度(+/-)4.2广告位认可度(+/-)5.1艺术性带来的记忆效果6.1在用户的价格敏感接受范围内选择解释态度一些广告策略的效果曝光(exposure)关注(attention)理解(comprehension)信息接受(messageacceptance)保持(retention)购买(purchase)幽默(2+,3-)性感(2+,4?)折扣(2+,6+)艺术(3-,5+)仿背景(2.1+):1.仿网页文字链2.尽量靠近网页色调简单(2,3.2+):1.留白吸引用户关注2.减少同时表达的诉求大标识(2+):1.显著大于背景字体2.logo尽量显著传统广告策略分析在线广告创意原则计算广告核心挑战•广告中的计算问题–给定用户u,上下文环境c,找到最合适的广告创意a.•从优化角度来看–特征提取：受众定向–微观优化：eCPM估计–宏观优化：竞价市场机制–受限优化：在线分配–强化学习：探索与利用–个性化重定向：推荐技术•从系统角度来看–整体框架：广告服务器–候选查询：实时索引–特征存储：No-sql技术–离线学习：Hadoop–在线学习：流计算–交易市场：实时竞价TiiTiiiiapcuarT11),,(max,,1在线广告技术课题•大规模(Scale)–百万量级的页面，十亿量级的用户，需要被分析处理–高并发在线投放系统(例:Rightmedia每天处理百亿次广告交易)–Latency的严格要求(例:adexchange要求竞价在100ms内返回)•动态性(Dynamics)–用户的关注和购物兴趣非常快速地变化•丰富的查询信息(Richquery)–需要把用户和上下文中多样的信号一起用于检索广告候选•探索与发现(Explore&exploit)–用户反馈数据局限于在以往投放中出现过的(a,u,c)组合，需要主动探索未观察到的领域，以提高模型正确性搜索、广告与推荐的比较搜索搜索广告显示广告推荐首要准则相关性(relevence)投资回报率(ROI)用户兴趣其他需求各垂直领域独立定义质量，安全性(Safety)多样性(diversity),新鲜度(freshness)索引规模~十亿级~百万级--千万级~百万级~百万级--亿级个性化较少的个性化需求~亿级用户规模上的个性化检索信号较为集中较为丰富Downstream优化不适用`适用投资回报率-ROI•投入–广告资源的成本，在多数情形下是线下合同约定的–在DSP产品中，投入的成本是可以优化的•回报–Return=点击率点击价值(payoff)eCPMTiiiiTiiiiiicuaruacua11),,(),(),,(在线广告计费模式•不同的eCPM分解对应不同的市场形态•CPM结算:–固定eCPM，供给方风险最小–需求方的市场部门承担eCPM估计的任务•CPC结算:–动态CTR,固定clickvalue–供给方估计点击率，需求方估计点击价值，对效果广告较为合理•CPS/CPA/ROI结算:–供给方负责估计eCPM–并没有看上去上去那么美好…•CPT/CPD结算:–中国特色的结算方法在线广告系统数据高速公路内部及外部TB级数据实时收集处理高并发投送系统十毫秒级别的实时决策百亿次/天的广告投放系统受众定向平台灵活的海量数据挖掘平台前沿机器学习算法的分布式架构流式计算平台日志的准实时挖掘和反馈反作弊与计价WebServerAdServerAdRankingAdretrievalYieldmanagementStreamComputingServingTrackingDatahighwayGridSessionloggenerationPageAttributesNon-advertisinglogsAudienceTargetingUserAttributesClickmodelingCTRmodel&featuresNear-linepagefetcherAnti-spamBillingReal-timetargetingAdIndexReal-timeindexingRTUserAttributesAdbaseRTfeaturesReal-timefeedbackCustomizedaudiencesegmentationWebUserAEETLdashboardCube11RTBS3rd-partydataRTBDStructurallabelbasePlanningAllocationplan在线广告系统模块1.Adserving2.Adretrieval3.Adranking4.StreamComputing5.Datahighway6.Sessionloggeneration7.Datawarehouse8.Customizedaudiencesegmentation9.Pageattributessystem10.Audiencetargeting11.Admanagementsystem12.OnlineallocationWebServerAdServerAdRankingAdretrievalYieldmanagementStreamComputingServingTrackingDatahighwayGridSessionloggenerationPageAttributesNon-advertisinglogsAudienceTargetingUserAttributesClickmodelingCTRmodel&featuresNear-linepagefetcherAnti-spamBillingReal-timetargetingAdIndexReal-timeindexingRTUserAttributesAdbaseRTfeaturesReal-timefeedbackCustomizedaudiencesegmentationWebUserAEETLdashboardCube11RTBS3rd-partydataRTBDStructurallabelbasePlanningAllocationplan用开源工具搭建广告系统AvroHbaseS4ChuhwaPigBigTableGFSChubbyZooKeeperHiveOozieElephant-birdStormScribe跨语言服务搭建工具-•跨语言服务快速搭建(c++,java,python,ruby,c#…)•用struct定义语言无关的通信数据结构:•structKV{1:optionali32key=10;2