技术推动的直播发展新趋势韩三普花椒直播联合创始人&CTO互联网从文字、图片到视频,技术与内容不断交织演化,信息量越来越大,表现能力越来丰富,实时互动的趋势越来越明显。文字图片点播直播VR技术载体文字社交图片社交视频社交直播社交VR社交文字内容图片内容视频内容直播内容VR内容传输与呈现互联网信息传播的发展移动上网费用流量成本大幅下降,用户更易接受。设备传统直播需要专业设备,用于唱歌、语音和视频等。移动直播只需要一部手机。时间成本随时可用使直播内容更加多元化,直播时间更加碎片化。地点随地可播使直播场景更多元,除传统直播内容,还可以方便直播旅行、购物等更多元的内容。直播的驱动因素实时实时带来强反馈,能够源源不断地获得满足感互动互动就是生产力AR打破虚拟与现实的界限,更好玩,更有用智能更懂用户,更方便可靠。直播产品技术上的四大特征动态交互礼物通过独有的面部定位技术,制作出丰富的互动特效礼物,满足年轻人希望炫酷的需求国内第一家使用动态交互礼物的直播APP图片/短视频功能国内最早的可以上传图片和短视频功能的直播软件,即使是普通观众也可以通过上传图片和有趣的短视频来和主播以及其它观众互动全球首创萌颜全球首创萌颜社交直播平台,可在直播过程中为主播开启萌颜效果。美颜效果在国内直播类APP中网友评价效果最好实时瘦脸/大眼主播在直播中,系统通过识别面部轮廓和肤色差异,提供实时瘦脸/大眼功能,满足年轻人爱美搞怪需求国内唯一可以实时瘦脸的直播软件2016年:花椒全球首创美颜微整形直播技术,全球首创萌颜AR直播技术。2017年:花椒全球首创全场景置换虚拟场景直播技术,全球首发可二次交互的手势互动与表情迁移两大AR功能。技术创新可以引领直播潮流一、基础技术是产品的基石直播应用创新三大支撑因素硬件性能&价格&能力音视频内容理解带宽质量与价格采集技术•手机录屏•录摄像头•VR录制•智能硬件(物联网)录制传输相关技术(清晰度、卡顿、延迟与开启速度)•H265•延迟自适应•多码率自适应•分辨率自适应•帧率自适应•智能调度•硬编硬解•秒启动技术基础的直播技术传输相关的技术决定了一个产品的基础体验,可以说是产品的技术根基。社交相关:•直播间聊天室•私信•群组•视频群聊音视频互动与增强互动技术•传统主播连麦•多人PK模式•互动白板(你画我猜等)•多功能互动插件机制互动与社交相关基础技术文字与音视频的通讯技术加上增强的互动插件化技术方案,使产品互动更多样。多种实时互动技术开发的产品功能增加了产品的趣味性和可玩性。二、当前重点技术AI在直播领域应用创新三大趋势AI技术对直播的价值更多数据更聪明的算法更好的产品更多用户数据、算法与产品、用户这种“自我实现的反馈循环”,带来强大的智能AI可成为产品反馈循环中的一环,形成竞争壁垒价值困难什么发生了为什么发生什么将发生让什么发生越来越多的任务、工作和决策将被部分或者完全自动化,由算法主导或者辅助从感知到分析、从预测到干预,从而产生大量的价值。智能AI决策能力强大可产生大量价值AI在直播平台应用的主要逻辑AI内容创作个性化服务运营优化用户理解内容理解观看支付聊天浏览文本视频音频图片……消费者生产者平台•与推荐技术结合•视频内容结构化•情景感知•情感识别•主题识别•……趋势一:围绕音视频内容理解进行应用创新•计算机视觉•人脸识别•手势识别•人体识别•物体检测与跟踪•视频主题发现•智能分析精彩内容•……•语音技术•语音识别内容理解方面创新点非常多,此页以技术为索引展开趋势二:围绕音视频内容创作进行应用创新耳听为虚,眼见为实?以应用创新视角来看内容创作方面的创新•有趣•互动礼物•手势互动•变脸•变声•美与萌•美颜与微整形(大眼、瘦脸等)•瘦身,美体•萌颜•穿越•虚拟场景迁移•表情迁移•换脸趋势三:围绕音视频内容传输进行应用创新•通过AI对帧内局部内容理解动态规划算法•逐级提升人脸人体清晰度•通过目标运动焦点调整清晰度•……•通过AI对场景理解动态规划算法•基于分类场景训练模型改变清晰度•基于场景内训练参数模型改变清晰度•……•通过AI改进压缩技术•改进帧内压缩算法•改进帧间压缩算法•……•基于传输环境与质量制约规划算法•因卡顿率、带宽、延迟时间、硬件性能等制约,训练可变码率、帧率、分辨率、多链路、多码率动态切换方案•……三、新技术商用带来初见端倪的新趋势1.5G1.高带宽。(VR、AR、AI智能、云技术将与个人生活更加无缝对接等)。2.高可靠低时延。(无人机航拍,AR互动等)3.促进带宽费用进一步降低。2.IPv61.满足海量设备的接入。2.公网IP。3.AI芯片。TPU,A11,NPU,DSP等。4.HEVC芯片普及未来几年要关注的新技术这一窗口期可能在两三年内,爆发效应可能会大超出大家的想象。“直播+”与“+直播”趋势可能更为明显,娱乐、游戏、传媒、教育、工业、医疗等行业都有无穷的想象空间。1.P2P-CDN。1.5G终端提供强大的传输、运算能力,极大扩容P2P-CDN网络的节点规模。2.IPv6为P2P-CDN网络中海量的5G设备提供IP地址,提升数据传输的性能和安全性。3.用5G设备组成的P2P网络,能够充分发挥5G终端设备的数据传输能力,降低中心服务器、CDN节点的数据传输压力。2.边缘计算1.得益于5G和IPv6两个基础设施的进步。直播的AR能力主要是在主播端,而未来可以使用手机端做更多的事情。充分发挥5G设备的运算能力,在边缘节点完成简单计算,减少不必要的数据传输,如进行视频理解。3.窄带高清。1.未来趋势80%以上的设备支持HEVC硬解,配合5G技术,实现随时随地高清直播,带宽节省。AI与HEVC相结合的窄带高清技术。未来几年要关注的新技术谢谢