最新栏目

顶级互联网公司都在用什么工具和服务

立即发现顶级互联网公司和创业团队正在使用的工具和服务

最新论坛主题

1

  系统介绍   网易视频云支持面向海量用户的分布式视频处理,包含录制、转码、视频合成、截图等常用的视频处理任务。一方面视频云承载了众多网易内部视频应用的后台视频处理,一方面也渐渐以公有云的身份走入大家视野。   视频云的视频处理子系统需求模型如下所示:   [img]http://ww3.sinaimg.cn/mw690/7c881b6fjw1fa113eto87j20db0a2wfe.jpg[/img]   视频云上层服务根据业务模型,向视频处理子系统发起视频处理任务,处理子系统根据任务类型调度到合适的worker节点做处理。在任务产生事件时,处理子系统会将事件回调通知给上层服务,如录制切片事件、视频转码完成事件。   在过去几年,视频云为网易内部视频应用提供了稳定可靠的大规模音视频处理服务,如青果、云音乐、教育产品。近两年,随着公有云服务模式趋于成熟,网易视频云渐渐以公有云的身份被大家所了解,与私有云相比,公有云的视频云要面临以下两个挑战: 1.  海量用户 2.  资源超售   在内部服务时代,视频云需要服务的应用数量有限,调度系统和回调系统压力较小,而且可以为一些应用定制特殊功能。而在公有云服务中,面向海量企业用户,调度系统承担的压力更重,在保障公平调度的基础上,需要实现调度能力的水平扩展。   在为内部应用提供服务时,为了保障各个应用的服务质量,一般不做处理资源超售,但是在公有云中,由于用户太多,资源闲置是一种常态,不超售会造成极度的资源浪费。因此,在保障公有云的服务质量前提下,最大限度的节约成本是视频云在公有云场景下需要攻克的重要课题之一。为了做好这一点,公有云提供了比以前更加细致的任务统计,资源监控,便于公有云的容量规划。   系统架构   视频云的视频处理系统架构如下图所示:   [img]http://ww3.sinaimg.cn/mw690/7c881b6fjw1fa113f65tdj20o40csdis.jpg[/img]   sdk:接口层,上层服务通过SDK向视频处理系统发起任务和事件回调   scheduler:调度子系统,又分为在线调度器和离线调度器   worker:任务执行器,一般包含10-1000个slot,每个slot对应一个处理任务  notifier:事件回调子系统,收集各个worker中的任务事件,并通知SDK   configserver:集群管理,元数据同步,任务统计和资源监控等   dashboard:可视化运维的WEB工具   以上模块和子系统的实现,满足了视频云对用户管理、任务调度、任务追踪、事件回调和文件存储等核心功能需求。在非功能性方面,视频云实现了调度子系统的高可用和水平扩展,worker宕机重试。configserver在架构中属于单点,通过主从架构实现高可用。   核心技术   FlickRpc框架   FlickRpc是视频云团队自主研发的一个通用rpc框架,是各个组件模块互相调用和通信的基础。FlickRpc采用了netty长连接和json通信格式,使用google的gson库实现json格式的序列化和反序列化,与grpc,avro一类的开源RPC框架相比,FlickRpc无需定义消息格式,可像使用本地方法一样调用RPC,并且 FlickRpc中不存在json反序列化与JAVA继承的冲突,更加简单易用;FlickRpc提供了同步调用和异步调用两种模式,可以通过静态上下文获取RPC远端信息;虽然FlickRpc是为视频云开发,但其本身是一个通用RPC框架,可以在任何系统中使用。   FlickRpc的使用极大简化了视频云在通信层的开发量,未来FlickRpc会独立开源。   灵活的调度模式   视频云视频处理系统有在线和离线调度器两种不同调度子系统,在线调度器适用于录制、截图以及在线视频合并等在线视频处理。这种任务的特点是具有很强的时效性,需要实时调度。例如录制任务,如果调度产生较大延迟,会导致录制内容丢失。   离线调度器适用于各种类型的转码业务,特点是任务可以积压,可以慢慢异步消费。如点播系统的视频转码,一个用户可以一次性提交很多待转码视频,只要在一个笼统的时间范围内完成即可,无需所有任务实时调度。   离线调度器是视频云超售的基础,因为只有允许一定的任务积压,才能在保证服务可靠的前提下节约资源成本。   租约与高可用   configserver和其他组件通过租约的方式实现元数据同步和高可用,以离线调度器高可用为例,如下图所示:   [img]http://ww1.sinaimg.cn/mw690/7c881b6fjw1fa113fm5cxj20li07jjsy.jpg[/img]   调度器A和调度器B负责调度不同用户的离线任务,A和B在启动时会向configserver注册,并获取元数据和租约信息,以及他们各自需要调度哪些用户。A和B每隔一段时间(5s-60s)会向configserver续租,如果A在某个时间宕机,一段时间后configserver会发现A持续多个周期没有续租,为了保障用户调度的高可用,configserver需要将A负责的调度任务交由相邻节点B继续执行,为此configserver会更新B的租约,在下次B续租时可以更新到新的租约和元数据,并触发reload。   通过租约机制,可以实现不同组件的元数据同步,调度器的水平扩展和主从模式等。   负载均衡   一个视频处理集群中,可以部署多个worker group,任务参数中可以指定在哪个worker group中执行,worker group的划分使视频云可以在容量规划中因地制宜,例如录制任务需要大量的IO操作,因此录制任务的worker group需要配备SSD和千兆网络,而录制过程几乎不会耗CPU资源,可以在CPU配备上节约成本,而转码任务反之。   在一个worker group内,任务调度在没有超过worker slot上限的前提下,采用取模哈希的方式满足负载均衡,当worker调度到的任务数到达slot上限,会从调度器中剔除,直到新的slot空闲出来。

视频云面向海量用户的分布式视频处理技术

2

  在9月份的网易云战略发布会上,网易视频云CTO邱似峰首次对外表示将上线“互动直播”功能。一时间引发了行业内对“单一直播”模式局限性的讨论,业内专家直言互动直播将开启直播行业的新时代。   日前,记者发现网易视频云的官网上悄然上线了互动直播的公测,行业期待已久的互动直播正式开放给具有互动直播需求的用户。   网易视频云互动直播有哪些优势?   在网易视频云官网上的介绍中罗列了其互动直播功能的部分优势,诸如端到端延时低于200ms、卡顿率低于5%、抗800ms网络抖动力等等。就目前市场上大多数直播云服务来说,单一直播的延时在1-3秒的范围内,而网易视频云互动直播的延时低至200ms,又是如何做到的呢?   网易云的技术专家吴桐介绍到,传统的“互动直播”在主播端将主播的声音和观众的声音做混音,并将主播与观众的画面做视频合成,最后将混合的声音和画面推流到CDN流媒体服务器。这一解决方案的优点在于互动实时性高,且实现起来比较简单。但带来的直接问题就是主播端带宽压力增大,尤其是连麦互动时主播端的带宽是正常直播的两倍,根本吃不消。   而网易视频云采用了更适合移动端互动直播的架构,主播端不再直接推流到CDN流媒体服务器,而是基于实时音视频通话系统,由实时音视频的中转服务器转发给互动直播服务器,再由互动直播服务器处理后推流到CDN流媒体服务器。这样既实现了多人互动直播,又继承了单向直播同样的推流能力。   值得一提的是,网易视频云还针对互动直播混流输出等功能,即多路音视频云端自动混音,替代终端处理,从而降低带宽成本,减轻终端负载。而针对直播网络中常见的网络拥塞问题,网易视频云则通过自研的Dawn协议很好的进行了解决。   我们的互动直播适用于哪些场景?   目前,网易视频云的互动直播对在线课堂、电商采购、娱乐社交和专家咨询等四大场景都有完整的解决方案。   1、在线课堂。网易视频云推出互动直播后,将教育直播从传统的远程教育带入到一对一、一对多、多对多的实时互动直播模式。再加上网易云课堂、中国大学MOOC等产品积累的行业经验,网易视频云针对K12、外语教学、技能培训、公司培训等提出了适用于在线直播课堂互动的解决方案。   2、电商采购。受单一直播模式的限制,以往电商直播的形式缺少与观众有效的互动,在销售转化率、用户活跃度等方面并不乐观。网易视频云针对产品展示、电商导购、跨境采购等场景推出了互动直播解决方案,更加有利于电商直播的升级。   3、娱乐社交。移动互联网的发展、智能终端的普及和资本的热推,使得娱乐社交成为直播行业的红海。但单向直播在很大程度上限制了主播和观众的互动,网易视频云解决了互动直播对带宽和终端处理能力的严格限制,适用于娱乐互动,如秀场互动、社交互动、明星粉丝互动等   4、专家咨询。相比于泛娱乐直播,医疗、理财、证券等被视为直播的蓝海,而这些垂直领域对直播的稳定性、互动方式、画面质量等有着更苛刻的需求。网易视频云的互动直播广泛适用于咨询类直播,如在线医疗、证券理财、留学移民、升学就业指导、培训答疑等。   目前,网易视频云互动直播公测通道已经开启,有互动直播需求的开发者、产品经理、创业大咖都可以在网易视频云官网上申请公测,申请通过的用户可以免费试用30天。   在这个视频直播趋势日渐火爆的时代,互动直播不只是对视频云服务的完善,更有可能开启直播的新时代。

网易视频云互动直播公测正式启动

最热最流行的开发者服务和工具

实时更新最热最流行的开发者服务和工具,让你紧跟技术发展的潮流。

SDK.CN

sdkcn+

第一个为开发者量身定制的小程序,最新鲜的技术资讯,最新的开发者工具一手掌握。
SDK.CN

GIF动图搜索API

小猪动图应该是国内GIF动图资源最丰富的,同时提供了GIF在线制作的功能,技术团...
SDK.CN

慕色SDK

深度定制,尽在企业级API服务。短视频SDK可附加在各种UGC,(如旅游、母婴、...
服务排名
SDK.CN

聚合数据

聚合数据免费向开发者提供基站数据...

SDK.CN

表情云

一分钟拥有自己的表情商店!建立社...

SDK.CN

网易云捕

网易云捕面向移动开发者提供专业的...

全栈排名
SDK.CN

NginX

开源的高性能的HTTP和反向代理...

SDK.CN

GitHub

程序员首选,全球最大的Coder...

SDK.CN

Go

Google开发的一种编译型,并...

SDK.CN

PHP

PHP(“PHP: Hypert...

SDK.CN

2017年前端开发者应该重拾基本技能学习

2017年前端的同学应该学习什么,如何学习,这里提供了一些建议,我们或许应该放慢一下接受新东西的步伐,并且回过头来看看那些一直不变的东西——这样做能让我们更快的学习新东西。

技术文章 2017-01-17

SDK.CN

和程序员谈恋爱是一种什么样的体验?

作为一名程序员的女朋友,我想说说,和程序员谈恋爱究竟是一种什么样的体验。首先,我们先来说说程序员的定义。程序员、计算机程序员、开发者、软件工程师、码农,这些名字值的都是一类人:写计...

业界资讯 2017-01-11

SDK.CN

Alexa,Amazon的操作系统?

Alexa 是个极其智能的平台,不过要想真正“统治”世界,它还需要更大力度的创新。去年,Amazon将该平台开放给了第三方开发者,这些外部帮手们能为兼容Alexa的设备补充更多弹药...

业界资讯 2017-01-17

SDK.CN

WTF is|容器是什么鬼?

你如果参加过近两年的开发者大会,那肯定听说过容器(Container):Docker、Kubernetes、Mesos,以及其他许多容器的名字。微软、谷歌、亚马逊,以及其他所有公司...

服务资讯 2017-01-17

SDK.CN

ofo 推出第一代智能锁,对各自行车型具有高适配性

ofo首代智能锁采用了“机械+智能锁“解决方案,其特点是密码可变、闭锁可知、待机两年不需充电等特点。此外值得一提的是,ofo首代智能锁,除可安装在ofo单车上外,还具有高适配性特点...

业界资讯 2017-01-17

SDK.CN

以「员工体验」为核心,2017年HR领域的10大趋势

用户思维、用户体验、个性化......当这些词出现在市场营销或产品研发领域时,我们已经不觉得有什么新鲜,这也从侧面反映出,这些极具互联网特色的思维方式已经渗透到企业的各个领域,为不...

业界资讯 2017-01-17

SDK.CN

一文拿下JS变量相关问题

回溯到1995年,当Brendan Eich在设计第一版JavaScript时,他搞错了许多东西,当然这也包括曾属于语言本身的一部分,例如Date对象,对象相乘被自动转换为NaN等...

技术文章 2017-01-16

最新资讯

SDK.CN

2017年前端开发者应该重拾基本技能学习

2017年前端的同学应该学习什么,如何学习,这里提供了一些建议,我们或许应该放慢一下接受新东西的步伐,并且回过头来看看那些一直不变的东西——这样做能让我们更快的学习新东西。

技术文章 2017-01-17

SDK.CN

和程序员谈恋爱是一种什么样的体验?

作为一名程序员的女朋友,我想说说,和程序员谈恋爱究竟是一种什么样的体验。首先,我们先来说说程序员的定义。程序员、计算机程序员、开发者、软件工程师、码农,这些名字值的都是一类人:写计...

业界资讯 2017-01-11

SDK.CN

Alexa,Amazon的操作系统?

Alexa 是个极其智能的平台,不过要想真正“统治”世界,它还需要更大力度的创新。去年,Amazon将该平台开放给了第三方开发者,这些外部帮手们能为兼容Alexa的设备补充更多弹药...

业界资讯 2017-01-17

SDK.CN

WTF is|容器是什么鬼?

你如果参加过近两年的开发者大会,那肯定听说过容器(Container):Docker、Kubernetes、Mesos,以及其他许多容器的名字。微软、谷歌、亚马逊,以及其他所有公司...

服务资讯 2017-01-17

SDK.CN

ofo 推出第一代智能锁,对各自行车型具有高适配性

ofo首代智能锁采用了“机械+智能锁“解决方案,其特点是密码可变、闭锁可知、待机两年不需充电等特点。此外值得一提的是,ofo首代智能锁,除可安装在ofo单车上外,还具有高适配性特点...

业界资讯 2017-01-17

SDK.CN

以「员工体验」为核心,2017年HR领域的10大趋势

用户思维、用户体验、个性化......当这些词出现在市场营销或产品研发领域时,我们已经不觉得有什么新鲜,这也从侧面反映出,这些极具互联网特色的思维方式已经渗透到企业的各个领域,为不...

业界资讯 2017-01-17

SDK.CN

一文拿下JS变量相关问题

回溯到1995年,当Brendan Eich在设计第一版JavaScript时,他搞错了许多东西,当然这也包括曾属于语言本身的一部分,例如Date对象,对象相乘被自动转换为NaN等...

技术文章 2017-01-16

推荐工具 意见反馈