正在阅读：视频流量爆炸增长背后 英特尔助力打造坚实基础设施视频流量爆炸增长背后 英特尔助力打造坚实基础设施

　　随着移动网络的快速发展，视频已然成为近年来的流量大户。根据2019年思科VNI报告显示，到2022年全球将有79%的移动数据流量集中于视频，这比2017年的59%增长了9倍的流量。而在这份研究报告中，同时还指出了直播的增长非常迅速。

　　以AI和云计算为代表的技术不断推进，视频技术的发展在近年来获得了飞速的发展：从前端的视频软件采编到云端的芯片系统级方案都有了快速演进。视频编解码、视频云应用，视频分析技术及构建在机器学习技术之上的视频创作，都随着技术的进步变得更加便捷。

　　搜狐视频作为国内老牌视频平台，正在从以前传统的长视频模式，走向短视频和直播社交的模式;而在自制剧方面则坚持“小而美”的发展模式。

　　搜狐大数据中心负责人王帅对此谈到：“目前搜狐视频正在努力优化个性化推荐功能。同时，搜狐更鼓励用户创作内容，并对此在APP端做了一系列UI优化。此外，为进一步提高用户体验，搜狐在云转码方面也在进行持续优化。”

　　据悉，搜狐视频将深度学习技术与视频编码技术相结合，开发了全新的基于深度学习的视频超分辨率转码系统，实现将现有的蓝光视频到4k视频的无损转换，可以提供大量的高质量4k视频源。并根据不同的业务需求提供了“中等质量高速度”与“高等质量低速度”两套转码方案，

　　“在上述的超分辨率技术之外，搜狐还研发了HDR转码系统可以实现将现有的视频转换为HDR视频，从而弥补HDR视频源的不足。结合人工智能技术以及转码技术，使得老剧得以重生，极大提高了老剧的画面质量。”王帅对此说道。

　　搜狐视频 转码要速度更要保证质量

　　不少追过剧的朋友们都有过这种经历，到了更新的时间点不停刷新页面却一直不见新剧更新，让人无可奈何……

　　“搜狐视频也曾经历过这样的时期。过往我们拿到片源后，在北京转码中心转码需要六个小时才能上线。后来我们将转码技术升级，将大视频切片分发到不同地区的服务器上进行独立转码，只需要一个小时的时间就可以完成视频的上线工作，从而保证了更新的速度。”

　　据介绍，搜狐的云转码平台构建在英特尔至强服务器平台之上。为提升广泛分布在国内各地区的用户体验，搜狐在全国部署了三大节点以及部分小节点，这些节点采用英特尔不同时期的英特尔至强可扩展处理器以及单系统盘配置。“这样做可以让我们节省昂贵的广域网带宽，同时降低服务器集群成本。”王帅对此说道。

　　如果采用GPU的方案会不会进一步降低转码的时间?另外单盘系统的稳定性是否有所保障?我们将这一连串的问题抛给了王帅。

　　“我们此前尝试用过GPU方案，但是GPU转码质量还达不到我们的要求。所以现在搜狐线上的视频全部是都是由CPU来转码的，英特尔很多指令集优化是GPU不具备的。”王帅对此给出了答案，他同时提到在搜狐某1500台服务器集群中，英特尔傲腾固态硬盘在过去三年间只出现了两块故障盘，这样低的故障率使搜狐可以更放心的部署单盘系统，进一步降低成本。

　　搜狐此前作为英特尔Early Ship计划的参与用户，提前部署测试了英特尔至强可扩展处理器平台。这使得搜狐可以提前了解英特尔下一代产品的性能与特点，并与英特尔一同针对其业务系统进行测试优化。王帅同时提到，这种处理器平台的提升带来的不仅仅是主频上的变化，一些指令集特性等方面的优化，对于提升其业务系统的性能也有着不可忽视的作用，此外，英特尔所提供的丰富型号可供客户根据自身需求来选择。

　　“英特尔与搜狐不仅仅是商家与客户的关系，英特尔对于搜狐在软件层面的支持配合也给搜狐带来了很大的帮助，比如新的处理器在引入VNNI、KML、AVX-512等新特性后，与搜狐来优化相关工作负载来进一步帮助降低我们业务系统性能提升，从而进一步降低TCO。”王帅对此说道。

　　搜狐用了近2年的时间，将此前管理分散的基础设施资源进行了整合，终于在2018年底构建完成了承载其全部业务的私有云平台，并向内部提供所有平台层服务。

　　“现在听不到业务线的同事抱怨了，他们不会在跟我喊着要上公有云了。”

　　快手 “记录世界”的改变

　　短视频行业是近年来成长最为迅猛的视频细分行业之一。从日均使用时长来看，短视频行业的日均使用时长增长了五倍，仅次于即时通讯。月活用户全球超过8.2亿人，年复合增长率达到了64%.

　　快手作为国内最知名的短视频应用之一，其在2015年1月日活用户达到1000万，2017年11月达到1亿，2019年6月突破了2亿。打开快手首页，“记录世界记录你”的标语跃然纸上。充满生活化的各种短视频与直播内容通常是快手给我们的第一印象。但在其背后，还有着“快手因科技而生”的创造理念。

　　“每个用户的上传内容都会有基础曝光量，所以快手真正实现了全民记录。”快手相关人员在谈到快手的与众不同时讲到。无论是否是新用户、粉丝量如何、所处位置、所用机型，每个人在快手的经历都会或多或少的被其他人所观看，从而得到记录。而决定内容后续是否被大量推送或是置顶，则来自于一套相对复杂的算法。

　　被人喜欢点赞、评论数量、观看时长等等因素都会左右该视频是否会获得后续流量。快手将内容大致分为头部内容与长尾内容。所谓头部内容，通常是比较专业的内容生产者，有着大量粉丝的用户;另一方面，则是相对粉丝量较少的非专业内容生产者。“快手将流量资源的30%分配给头部内容，另外70%则分配给长尾内容。从而使长尾内容有机会被更多的人看到，这也是践行我们普惠的价值观。”

　　如今的快手，已经发展成为了一家平台型公司。其不仅有着快手APP这样一款产品，还有其内容生态、用户生态、商业生态，以及其他孵化产品构成的产品生态。快手每天新增视频数量约为1500万条，目前视频库中已经积累了超过130亿条视频。在两亿的日活用户中，有超过一亿的直播用户，有超过千亿级的日均曝光。快手在2018年开始进行商业化，当年有超过1600万用户在快手获得了收益，总收益超过了200亿元。

　　“承载这些数字背后的是快手庞大的基础设施，快手是一家应科技而生的公司。”快手相关人员认为快手的崛起离不开4G网络与智能手机普及的大环境，而利用包括大数据、机器学习、深度学习等技术才让快手有可能用机器替代人工去完成大量的内容审核，同时帮助用户在内容生产、内容消费等环节优化体验。

　　快手作为一家以AI与大数据驱动的公司，自然会紧随技术的发展趋势。“快手的业务涉及海量的多媒体内容理解，需要图像分类以及目标检测等技术，这属于计算密集型应用，对于算力的要求非常高。此外，个性化推荐部分的算法属于大量的内存密集型操作，不仅要求容量要大，对于带宽的要求也很高。这些海量数据的传输给予网络传输的压力也非常大。”

　　如果用传统CPU来做?那就需要海量的服务器集群，这也意味着巨大的成本开销。那么有没有更好的解决方案?有，这是快手异构计算团队的价值所在。

　　改变并不容易 异构计算有门槛

　　在降本增效的大前提下，快手选择了部署英特尔FPGA解决方案。钟辉将这一挑战过程形容为“上天入地”。

　　所谓“上天”，既是将FPGA部署在云上，快手需要解决的首要问题就是在数据中心里为其找到合适的业务场景，这需要其在有一定的通用性前提下同时具有大规模的特性。所谓“入地”，在成本上必须要有竞争力，同时部署的可靠性、稳定性也是重要指标。

　　“以DRN(Deep Ranking Network)加速为例，业务部门的问题在于其在负载高峰已经出现了网络抖动，考虑采用异构方案实现加速。经过分析，我们发现以计算为主的工作负载已经占到了CPU负载的50%，所以我们的方案是将这一部分卸载到FPGA上，同时初步制定将容量提高到200%。”

　　这一过程并不容易，但最终对外呈现的则是非常简洁的接口，从而让业务团队可以方便使用。

　　“业界在异构计算的趋势上已经达成共识，无论是ASIC、FPGA或是GPU都有其适合的应用场景。现阶段FPGA的开发门槛相对较高，但收益也相对会大。定制化和可重构是FPGA的两大明显优势：定制化可以为业务提供量体裁衣，能效比最好，这对于业务变化迅速的互联网公司非常受用;可重构意味着可在部署过程中同时卸载多个不同种类的业务，比如网络、存储、计算等。”钟辉对此如是说道。

　　我们此前文章也曾介绍过，快手还大量应用了英特尔傲腾数据中心级持久内存(AEP)用以解决上文提到的内存密集型应用带来的挑战。据介绍，在提供与纯DDR物理内存相近的性能基础上，AEP方案的成本却降低了30%。同时，采用AEP内存的故障恢复时间，也从小时级别降到了分钟级别，这对于故障恢复也带来了不可估量的价值。

　　后记

　　为什么我们近年来看到的视频质量越来越高?为什么我们哪怕用着千元机也可以玩转短视频平台的各种酷炫特效?因为其背后承载的技术与云基础设施在不断进化。

　　从CPU、FPGA、ASIC，还是已经宣布正在开发的GPU产品，英特尔已经构建了完备的产品线。但在数据中心里拥有这样大量的多元化硬件架构，也会带来幸福的烦恼——如果在这样不同架构中进行编程，通常需要很多种不同工具以及不同语言。这意味着在软件开发过程中需要涉及多支团队，他们需要掌握不同专业的技能，这难道会是最高效的开发方式吗?

　　英特尔为此推出了One API项目，从而简化在CPU、GPU、FPGA、GPU等不同架构上的编程工作，使工程师可以用一套开发语言驾驭不同架构的环境，并将工作负载自动分配在最适合完成相关处理工作的架构上。

　　虽然OneAPI仍需要实践之路，但是英特尔完备丰富的以数据为中心的产品组合已经为视频行业奠定了坚实的基础，并带动引领创新。