当前位置:首页 >> 信息与通信 >>

09-多媒体同步技术


多媒体通信技术
西南科技大学信息工程学院
授课教师:吴 静 电 话:6089322,13398357669 地 址:东6A515,通信与网络实验室 E – mail: wujing@vip.163.com 答疑地点:东6A515,通信与网络技术实验室 答疑时间:周1下午,周4晚上
1

第九章 多媒体通信同步技术

2

9.1 概述 9.2 多媒体同步参考模型

9.3同步描述方法
9.4同步控制机制

1.分布式多媒体系统中的同步
2.连续媒体内部的同步 3. 媒体流之间的同步
3

9.1 概述
?

同步
?

与统一的时间基准相关联 时钟同步 帧同步 网同步

已知同步?
? ? ?

本章讨论的同步是?
?

多媒体同步—— 媒体内同步、媒体间同步

4

一、多媒体数据
?

媒体的种类
? ?

依赖于时间关系的媒体 独立于时间关系的媒体 媒体对象在时间上的相对依赖关系
? ?

?

媒体数据的时域约束关系
?

连续媒体对象的各个LDU之间的相对时间关系 各媒体对象之间的相对时间关系

?

多媒体数据的构成
? ?

成分数据 同步规范
? ?

同步描述数据 同步容限
5

多媒体数据的构成
多媒体数据

成分数据

同步规范

文 本 数 据

图 形 数 据

音 频 数 据

视 频 数 据

同步描 述数据

同 步 容 限

6

?

多媒体同步:
?

保持和维护各媒体之间和各媒体对象内 部存在的事态关系,组织多种媒体序列 以实现某种特定的表现。

?

多媒体同步所研究的主要问题: ? 如何表示多媒体数据的时域特征; ? 在处理多媒体数据时,如何维护时域特 征。
7

二、同步的类型
1.

上层同步(用户级同步)

2.

中层同步(媒体间同步)
底层同步(媒体内同步)

3.

8

1. 用户级同步
?

描述方式:
?

从用户的角度设计模型框架,体现用户的交互 性,容易被用户理解和使用。 事件驱动同步,发生在系统中某一节点需要起 始动作的情况下。

?

控制机制:
?

9

2 .媒体间的同步关系
?

媒体间的同步关系即流间同步。
?

将不同类型的媒体数据流按一定的时间 关系 进行合成,保证不同媒体间的时间关系。 如:音频和视频之间的时态关系, 音频和文本 之间的时态关系等, 表现为各个媒体流中在同 步点上的同时播放。

?

流间同步的复杂性和需要同步的媒体的数量 有关

10

?

多媒体系统的同步控制必须保证在同步点上 各个媒体之间能够保持时间关系。例:
?

一个有语音讲解的多媒体幻灯片, 其讲解必须和一 组画面同时表现, 且随着画面的显示, 讲解是顺序 的。这里的同步点处于画面的改变点和讲解的起 始点与结束点。 一个可视电话系统, 其语音和图像序列通过通信网 络传输到接收端, 且必须同步地在接收设备上演示, 以保持口型和声音同步。

?

11

3. 媒体内的同步关系
?

媒体内的时间关系即流内同步, 主要是保证单个媒体流之 间的简单时态关系, 也就是按一定的时间要求传送每一个

媒体对象, 其表现为媒体流的连续性, 以满足人类感知上
的要求。
?

流内同步的复杂性不仅和单个媒体的种类有关, 而且和分 布式系统提供的服务质量(Quality of Service, QoS)有 关。 同时, 也和源端和目的端操作系统的实时性有关。

12

三、影响媒体同步的因素
1.

延时偏移
?

媒体间信道不同产生不同延时 传输过程中的延时偏差 最大延时与最小延时之差 端系统之间的时钟频率变化 一段时间间隔内的平均抖动

2.

延时抖动
? ?

3.

时钟漂移
?

?

4.

数据丢失
13

9.2 多媒体同步参考模型
?

多媒体同步参考模型用于从整体上描述媒 体之间的时序关系。
?

参考点同步模型
?

将连续媒体看作是一系列离散的子单元构成的序 列,一个子单元所在的位置称为一个参考点 所有媒体对象彼此独立地依赖同一时间轴。 对多媒体同步进行分层处理,规定了同步机制所 应有的层次及各层所应完成的主要任务。

? ?

时间轴同步模型
?

层次同步模型
?

14

1.逻辑数据单元(LDU)
时间相关媒体流的基本信息单元 ? LDU的划分与应用、编码方式、数据存储 方式有关。 例:
?
?

一帧图像为一个LDU,每秒25帧,两个LDU 之间的时间40ms。
LDU1 LDU2 LDU3 LDU4 LDU5
40ms
40ms

......

t
15

视频帧1

视频帧2

视频帧3

视频帧3

视频帧n

音频1

音频1

音频1

不同媒体LDU同步关系示例

16

2. 同步容限
?

事件间偏差
? ?

对象内偏差
?

同一媒体对象的时域事件之间的偏差 不同媒体对象的时域事件之间的偏差

对象间偏差
?

?

同步容限
?

用户与同步机制之间就偏差的许可范围所达 成的协议。

?

同步机制保证恢复后的时域场景中,事件 间的偏差在同步容限内
17

3. 层次同步模型

18

同步工作过程
?

按照同步描述数据生成调度方案

?

根据同步容限及多媒体数据特点申请资源 同步控制机制按照同步容限要求完成对偏 差的控制,维持多媒体数据的时域关系。

?

19

1. 媒体层
?

处理来自于连续码流的LDU,LDU的大小与同步 容限相关。
?

同步容限越小,LDU越小

?

?

同步机制与底层服务系统之间的接口,向上提供 与设备无关的操作,内部不包含同步控制操作。 任务:
? ?

申请资源 访问各类接口函数,完成LDU的I/O

20

2. 流层
?

?

?

处理连续码流或码流组,完成流内同步和 流间同步。 流层将连续码流作为一个整体进行处理, 向上层用户提供各种功能函数。(面向连 续码流) 任务:
?

?
?

确定LDU大小及对LDU的处理方案 向媒体层提交QoS要求 实施流内和流间的同步控制
21

3. 对象层
?

?

对不同类型的媒体对象进行统一地处理, 实现连续媒体和非连续媒体之间的同步, 并完成非连续媒体对象的处理。 任务:
? ? ?

制定调度方案:同步容限、媒体信息、资源 情况 系统初始化 执行调度方案:非连续媒体与连续媒体对象 之间的同步控制

22

4. 描述层
?

?

?

处理多媒体应用生成的时域场景。解决各 场景的安排与对象同步的描述问题。 为用户提供描述多媒体数据时域约束关系 的工具。 描述层产生同步描述数据和同步容限,提 供给对象层。

23

9.3 多媒体信息同步描述法
?

如何描述多媒体数据的时域特征,对多媒 体数据的时域特征进行抽象、描述以及给 出必要的同步容限。
? ?

对象同步关系的描述 同步的服务质量的描述 1. 基于路径的描述方法 2. 基于Petri网的描述方法 3. 基于时间标记的描述方法
24

?

方法:
?

?
?

描述时域特征的时间模型
?

时间模型的构成
?

?
?

基本时间单位 关联信息 时间表示技术

25

基本时间单位
?

表示时域场景中的事件
?

?

时刻 间隔

26

关联信息
?

反映时域事件的组织方式
?

定量关联信息
?

事件独立,单独的描述时域事件在场景中的位置, 间接反映事件间的关系 事件彼此相关,关联信息包含的是对时域事件约 束关系的描述

?

定性关联信息
?

27

1. 基于路径的描述方法
? ?

?

动作 动作和时间的关系 路径表达式

28

1)动作
?

动作:
?

表示发生的事情 一个动作的某些事件和别的动作的某些事件点 有对应关系,这个事件称为同步点 原子动作:起始点之间不再有同步点的动作 复合动作:

?

同步点:
?

?

动作分类:
? ?

29

2)动作和时间的关系:
? ? ? ? ?

?
?

先于 衔接 包含 相交 同始 同终 平行

30

31

3)路径表达式
?

由路径操作符来定义动作的同步
?

?
? ?

?
?

A∧B A∨B A;B A/B Ai* N:A

32

2. 基于Petri网的描述法

将对象分成SIU(同步间隔单元)

33

OCPN模型(对象合成Petri网)
?

?

OCPN模型描述了媒体对象内和媒体对象 间的时间关系, 它是一个定时Petri网。 用一个六元组表示:

OCPN = {T,P,A,D,R,M }

34

1. T = { t1,t2, …, tn }为变迁集, ti表示同步点和处理 位置, 在图中用短垂直棒表示。 ? 2. P = { p1,p2, …, pm }为位置集, pi表示进程, 并假 定变迁瞬时发生, 故pi具有相应状态, 在图中用圆 表示。 ? 3. A: { T×P }∪{ P×T }→ I = {1,2, …}是有向孤 集, 在图中用箭头表示。 ? 4. D: P→Re定义了由位置集向实数集的映射, 实数 集Re表示?OCPN中的时间约束。 5. R:P→{r1,r2,…,rk }定义了由位置集向资源集 { r1,r2,…,rk }的映射。 6. M:P→I,I ={1,2,…}?定义了由位置集向整数集的 映射,它表示位置集中的标记(token)分布。
35

? ?

XOCPN是在OCPN模型的基础上扩展了对 多媒体对象通信和同步机理的描述。 用一个八元组XOCPN= { T,P,A,D,R,M,Y,Z } 表示, 也就是在OCPN模型的基础上扩展了 两个映射函数Y(pi)和Z(pi): ?
?

?

Y: P→{ 控制, 对象 }定义了位置集向位置类型 集的映射。 位置分为对象位置和控制位置两 种。 ? Z: P→{动作, 函数地址, 同步单元地址, 通信和 同步的信息地址}定义了由位置集向地址集的 映射。
36

37

OCPN中的位置分成对象位置和控制位置两种。 ?

(1) 对象位置?
它表示媒体对象的播放进程, 每个对象位置与媒体对象的一 个同步单元(SIU)相对应。 每个对象位置Pi指定一个时间间隔, 一个时间间隔与其对应的SIU的时间间隔相等, 由映射函数Z(Pi ) 保持的SIU的地址可以是一个缓冲器指针。每个对象位置表示如 下两种操作之一: ?

·Action.SIU?Playout: 在媒体输出设备上播放相关的同步单 元。 ?
· Action.SIU?Transmit: 向指定的虚电路通道发送相关的同步 单元。
38

(2) 控制位置? 它表示基于XOCPN语义的控制过程, 在其上执行的操作有资 源的建立, 资源的释放以及媒体间的同步等, 即: ? ·Action. Resource?Setup: 建立虚电路信道、按用户设置的 QoS参数的协商信道属性、分配接收端缓冲器、预备输出设备等。 其中, 资源(Resource)定义了通信通道、缓冲器或输出设备等。 ·Action. Resource?Release: 在媒体对象完成播出后, 立即释 放所占用的资源。 ? · Action.Interstream?Synchronize: 按所希望的同步策略实现 流间同步机制。
39

1) 流内同步
? (1) 中断同步 (2) 受限中断同步 ?

流内同步机制 (a) 中断同步; (b) 受限中断同步

40

2) 流间同步?
对于流间同步, XOCPN模型也支持两种同步机制: 中断和
非中断。 ? (1) 流间中断同步? 将在Nxocpn 中的每一个IPP(流间播放点)处中断快速流的播放 过程, 直到所有需要同步的媒体流都到达IPP才播放。 ? (2) 非中断同步? 将在Nxocpn中的每一个IPP点收集有关流间的同步状态信息, 然后根据所收集的同步状态信息进行某些校正动作, 这些校正 动作分成两种:
41

流间同步机制

42

语音 音乐 视频 图形 A 引导音乐 B 节目片头 C 音乐渐隐

E 播音员念第一条新闻

D 播音员全景

F 播音员上部照片

一个电视新闻广播时间线的例子
43

电视新闻广播的XOCPN
44

3. 基于同步标记的描述法
?

?

在数据生成过程中在数据流中加入同步标 记的方法。 同步标记形式
?

?

有形标记:如以信息帧的形式插入到媒体数据 流中; 逻辑标记:如相对数据量和相对时间。 ?

45

时间标记:
? ?

?

?

多媒体对象起始媒体单元位于时间系统的零点, 一个媒体单元在相对时间系统中的位置。 将各个媒体流映射到一个逻辑时间轴上, 赋予 每个媒体单元一个时戳(Timestamp), 以此来标 识媒体单元相对于逻辑时间轴起始点的时域位 置。 逻辑时间轴的单位应小于最小媒体单元的持续 时间, 从而使同一媒体中两个不同的媒体单元 的时戳相异。 在媒体表现过程中, 具有相同时戳的媒体单元 同步播放。
46

RTP协议中的时间标志

图 3.6 RTP报头格式

47

其中: ?
·V: RTP协议的版本号, 占2位。 当前协议版本号为2。 ? ·P: 填充标志, 占1位。 如果P=1, 则在该报文的尾部将填充 一个或多个额外的八位组。 ?? ·X: 扩展标志,占1位。 如果X=1, 则在RTP报头后跟有一个 扩展报头。 ?

·CC: CSRC计数器, 占4位, 指示CSRC 标识符的个数。 ?
·M: 标记, 占1位, 不同的有效载荷有不同的含义。 对于视频, 标记一帧的结束; 对于音频, 标记会话的开始。 ?

·PT: 有效载荷类型, 占7位, 用于说明RTP报文中有效载荷的 类型。 例如, GSM音频、 JPEM视频等。
48

·序列号: 占16位, 用于标识发送者所发送的RTP报文的序列 号; 每发送一个报文, 序列号增1。接收者通过序列号来检测报文 丢失情况, 重新排序报文, 恢复数据。 ? ·时戳(Timestamp): 占32位, 时戳反映了该RTP报文的第一个 八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动, 并

进行同步控制。 ?
·同步信源(SSRC)标识符: 占32位, 用于标识同步信源。 该 标识符是随机选择的, 参加同一视频会议的两个同步信源不能有 相同的SSRC。 ? ·特约信源(CSRC)标识符: 每个CSRC标识符占32位, 可以有 0~15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有 特约信源。
49

典型的时戳递进策略
?

设备驱动法:

?

连接驱动法:

50

(1) 设备驱动法
?

?

?

源于主设备的媒体单元的时戳在主设备时钟控制 下递进; 源于从设备的媒体单元的时戳的递进要经过调节 过程的处理, 使从设备媒体单元与同时生成的主 设备媒体单元具有相同的时戳。 选择主设备时的考虑因素有: 时钟频率的精确性 和媒体源的重要性等。例如, 声音媒体和图像媒 体中, 通常选择声音频媒体源作为主设备, 因为声 音媒体的时间误差易被人们的听觉感受; 也可以 选择外部时钟源作为主设备。
51

(2) 连接驱动法
?

在分布式网络环境中, 媒体单元时戳递进率 取决于某一网络连接的数据传输率。

52

上讲内容
1.同步任务:
?

维持媒体内、媒体间的时间关系。 用户级同步、媒体间同步、媒体内同步 成分数据、同步数据(同步描述数据、同步容限)、 逻辑数据单元(LDU)。 基于路径的描述方法: 基于OCPN模型的描述方法 基于时间标记的描述方法
53

2.同步的类型:
?

3.多媒体数据的组成:
?

4.同步描述方法:
?

?
?

课后练习
语音 音乐 视频 图形 A 引导音乐 B 节目片头 C 音乐渐隐 D 播音员全景 E 播音员念第一条新闻

F 播音员上部照片

路径描述表达式:?

( A ? B);(C ? D);( E ? F )

54

9.4 多媒体同步控制机制
?

同步控制机制:
?

理解同步描述数据所定义的时域特征,并根据 用户所要求的同步容限,完成对改特征的维护。 分布式多媒体系统中的同步 连续媒体内部的同步 媒体流之间的同步

?

内容:
?

?
?

55

多路复用同步技术
? ?

将多个媒体流的数据复用到一个数据流中,从而 使他们在传输中自然保持媒体间的同步关系。 例:MPEG-2标准中TS流的形成
视频 视频编码器 ES 打包器 PES TS TS码流 复 用

音频

音频编码器

打包器

数据

数据编码器

打包器 PS PS码流 复 用
56

PES 包 TS 包
链接头 适配域

PES包头

PES包数据

净荷 184byte

链接头

适配域

净荷

…….

188byte 音频PES 视频PES 数据PES

节目1 节目1 节目1 节目1 节目1 节目1 节目1 节目1 音频1 视频1 视频2 数据1 视频3 PMT 音频2 音频3 TS包
57

一、分布式多媒体系统中的同步
1.

分布式系统结构:
?

点对点、点对多点、多点对点、多点对多点
S S S S

S

D

D

D

D

D

58

2.同步规范的传送方式:


提前传送法
?

传送多媒体数据之前,将整个播放过程所需 同步规范以文件方式传送到接收端,以备播 放时参照。



辅助通道传送法
?

使用附加逻辑通道专门传送同步规范文件
将同步规范与成分数据复接在一起使用一个 通道传送
59



插入同步标记法
?

3. 影响媒体同步的因素
1.

延时偏移
?

媒体间信道不同产生不同延时 传输过程中的延时偏差 最大延时与最小延时之差 端系统之间的时钟频率变化 一段时间间隔内的平均抖动

2.

延时抖动
? ?

3.

时钟漂移
?

?

4.

数据丢失
60

传输延时 抖动对多媒体同步的破坏
视频数据

服务器

网络

用户

音频数据

61

时钟偏差对同步的影响
?

信源和信宿之间时钟存在偏差,经过一段 时间后,接收端数据不足,破坏连续媒体 播放的连续性
?

例:
?

?

时钟偏差10-3秒,90分钟后,偏差5.4秒,播放质量 无法保证。 一秒内时钟偏差10-6秒,90分钟后,偏差5.4ms, 可以忽略。

62

?

网络时钟同步协议
?

?

Internet的网络时钟协议NTP(Network Time Protocol),中央时间服务器维护一个高精度 和高稳定度的时钟,时间服务器向各站点周期 性广播定时信号,各站点以此为基准调整本地 时钟 各站点同步时钟的精度保持在毫秒级

63

4、多级同步机制
?

在分布式多媒体系统中,同步通常是分多 步完成的,涉及到系统的各个部分。
① ② ③ ④ ⑤



采集多媒体数据及存储多媒体数据时的同步 从存储设备中提取多媒体数据时的同步 发送多媒体数据时的同步 多媒体数据传输过程中的同步 接收多媒体数据时的同步 输出设备内部的同步

—— 发送、传输和接收过程中的同步控制机制
64

二、连续媒体内部的同步
?

连续媒体是由若干个LDU构成的时间序列,LDU 之间存在固定时间关系,当网络传输存在抖动时, 连续媒体内部LDU的相互时间间隔则发生变化, 这时接收端需要采取一定的措施恢复原来的时间 关系。
LDU

服务器

网络

用户

65

?

处理方法:
?

接收端设置缓存,延时抖动进行过滤 基于播放时限的同步方法? 基于缓存数据量控制的同步方法
播放器 (解码器)

?

技术:
?

?

信源

缓存器

传输线路

66

1. 基于播放时限的同步方法?
信源 传输线路
?
?

缓存器

r

播放器 (解码器)

限定播放延迟时间 主要问题? ——播放延迟时间 ——缓存器如何设计

67

?

设任意LDU:
?

?
? ?

?

发送时刻为 t(i) 到达时刻为 a(i) 播放时刻为 p(i) 传输时延为 d(i) 最大延时dmax,最小延时dmin

?

播放速度 为
?

r

每秒传送的LDU个数

68

dmin

dmax

1

2

i

t(i)

1

2
T

i

T=?

a(i)

1

2

i

p(i)

实时数据的发送、接收和播放时间关系
69

播放延迟时间
a(i) ? t (i) ? d (i) dmin ? d (i) ? dmax p(i) ? a(i)

p(i) ? p(i ? 1) ? t (i) ? t (i ? 1)

p(i) ? p(1) ? t (i) ? t (1)

p(i) ? a(i) ? p(1) ? a(1) ? [d (i) ? d (1)]

T ? p(1) ? a(1) ? max ?d (i) ? d (1)? ? d max ? d min
70

p(1) ? a(1) ? d (i) ? d (1)

?

在延时抖动已限定在一定范围的条件下, 接收端在接收到第1个LDU之后,必须延 迟一段时间T再开始播放,才能保证整个 播放过程不间断。

T ? d max ? d min
71

缓存器的最大容量
?

Bt ? max?? p(i ) ? a(i )?i ? (2,3, ?)?

最大缓存时间Bt

? (d max ? d min ) ? min??d (i ) ? d (1)?i ? (2,3, ?)?

?d 当d(1) ? d max,d(i) ? d min时,(i) ? d(1)?具有最小值

Bt ? 2(d max ? d min )
72

缓存器的最大容量
?

缓存器的最大容量B:

设播放速度为 r ,则:

B ? ?Bt ? r ? ? 2(d max ? d min ) ? r

73

2.基于缓存数据量控制的同步方法
?

周期性检测缓存数据量,如果缓存数据量 超过预定警戒限时,认为存在不同步现象, 采取措施进行再同步。 措施?
——接收端调节 ——发送端调节

?

74

接收端再同步
信源 传输线路 缓存器 播放器

qt
反馈 滤波器

bt

控制 函数

S (qt )

C (bt )

qt

:t时刻的缓存数据量 :t时刻的缓存数据量

S (qt ) :反馈滤波器

bt

C (bt ) :控制函数
75

发送端再同步:
信源
传输线路 缓存器

播放器

qt
控制 函数

bt

反馈 滤波器

C (bt )
qt
:t时刻的缓存数据量 :t时刻的缓存数据量

S (qt )
S (qt ) :反馈滤波器

bt

C (bt ) :控制函数
76

同步操作过程
?

滤波器输出:
?

通过滤波器后,平滑掉短期延时抖动引起的缓 存数据量波动,只有由时钟漂移、网络传输条 件改变等因素引起的长期缓存数据量变化才会 触发控制函数的工作

bt ? S (qt ) ? ? ? bt ?1 ? (1 ? ? )qt
?

α为平滑因子,其取值影响滤波器的灵敏度。
? ?

α过大,同步控制机制启动慢,缓冲器溢出或空 α过小,延时抖动引起的缓存数据量微小变化也会 不必要的启动再同步机制,系统不稳定
77

播放速度调整:
?

控制函数将平滑后的缓存数据量于预先设定的缓存数据 量警戒线比较,如果超出警戒线,启动再同步机制。 LW UW

ba
播放速率调整:

B

ba

bt ? UW:缓冲器溢出, t ? LW:缓冲器变空 b

bt ? ?LW ? (UW ? LW ) / 2? Rc ? L
相对调整速率 再同步调整期
78

缓存器容量
LW UW

ba

B
bt

ba
滞后τ

qt

B:已知延时条件下的缓存容量

B ? ?Bt ? r ? ? 2(d max ? d min ) ? r

ba:附加缓存容量,容纳再同步机制延迟时间的数据

79

三、媒体流之间的同步 1.基于反馈的流间同步方法 2.基于全局时钟的时间戳方法 3.基于RTP协议的同步控制机制

80

1. 基于反馈的流间同步机制
?

?

在网络环境下,基于反馈的同步机制是常 用的同步方法。 关键点:
?

失调检测 发送端控制 接收端控制

?

控制机制:
? ?

81

例:
?

到达用户A音频流和到达用户B的视频流必 须符合二者间的同步要求。
A 服 务 器

fa

B fa fb: 反馈单元 fb
82

?

条件:
? ?

无全局时钟 延时在[dmin,dmax]之间 服务器根据相对时间戳同时提取不同流的并送到通信 线路; 由于各种因素影响,各用户端播放过程进过一段时间 不同步; 用户端在播放某个LDU时,将该LDU的时间戳返回服 务器; 服务器周期性比较反馈回来的数据,可检测出各条流 之间的同步情况。
83

?

工作过程:
?

?
?

?

同步过程:
① 估计与反馈信息相对应的媒体单元在从设备上的 最早播放时间和最迟播放时间。 ? ② 通过比较在主设备和从设备上媒体单元播放时间 的估计值, 确定同步播放的媒体单元集合。 ? ③ 由同步播放媒体单元集合各元素同步点的差异, 确定主设备和从设备之间失调的程度。 ? ④ 多媒体服务器根据失调程度, 加速或延缓从设备 的媒体演示过程, 迫使从设备与主设备同步运行。 ?

84

2. 基于RTP协议的同步机制
?

?

基于RTP协议的同步机制是基于反馈的同 步机制的一个实例。 失调检测机制可以采用两种方法实现
?

?

一是由网络协议提供, 应用程序可以利用这种 机制去实现强制同步控制, 例如RTP协议就提 供了这种失调检测机制 二是完全由应用程序实现失调检测和同步控制 机制。

85

RTP协议的同步控制策略:
?

?

各个接收端周期地将一种称为接收者报告的轻载 消息反馈给发送端, 在接收者报告中包含有接收 者观察到的网络失调状态信息(如QoS状态), 发 送端将接收者报告提交给高层应用程序, 应用程 序据此进行失调检测与评价。 如果出现了失调现象, 则需要进行强制性同步控 制,发送端应用程序可以通过改变数据发送速率、 控制传输带宽等方法来实施强制同步, 以满足接 收端演示质量(QoP)的要求。 ?

86

?

基于RTP的同步方法的特点是:
? ? ?

?

利用RTP协议机制来传送网络状态信息, 不需要另外 构造网络检测机构, 易于实现; 接收者报告是一种轻载报文, 占用较少的通信带宽; 在RTP报文中包含了序列号和时戳等同步标记, 接收端 可以通过这些标记实现同步控制。 RTP协议只提供了同步标记、失调检测和反馈机制, 而 强制同步机制要由应用程序来实现。

87

3. 基于全局时钟的时间戳同步技术
?

数据组织
?

?

各媒体按时间顺序分成若干小段(单元),放 在同一根时间轴上,给每个单元都做一个时间 记号(时间戳),处于同一时标的各个单元具 有相同时间戳。 接收端,具有相同时间戳的媒体单元同时进行 表现,由此达到媒体间的同步。

?

要求所有信源和信宿与全局时钟同步。

88

例:
?

信源A送出音频,信源B送出视频,在接收端C同步播放, 传输时间分别为d1、d2
I
d1

t0

t1

t1 (i) t2 (i)

A

C
a1 (i) d2 d1
a2 (i )

B
d2

T (i) ? t0 ? ts (i) ? ?
第i个LDU提交播放时刻

? ? max? j j ? (1,2,?, n? d

p(i)

89


相关文章:
多媒体同步技术_图文.ppt
多媒体同步技术 - 多媒体通信技术 西南科技大学信息工程学院 授课教师:吴静:电
分布式多媒体同步技术研究.doc
分布式多媒体同步技术研究 - 分布式多媒体同步技术研究 摘要:根据多媒体通信技术
第9讲第4章多媒体技术_图文.pdf
第9讲第4章多媒体技术 - 第四章 多媒体技术及应用基础 计算机基础知识 江西财经大学信息学院刘谦 2009-4-12 1 第四章 多媒体技术及应用基础 4.1 4.2 4.3 ...
多媒体通信同步技术的研究_图文.pdf
多媒体通信同步技术的研究 - 多媒体通信同步技术的研究 E 张占军 韩承德 (
多媒体技术第二次作业[1].doc
多媒体技术第二次作业[1] - 一、判断题(10 分, 将答案填在表格里, T
第6章多媒体同步_图文.ppt
第6章多媒体同步 - 第6章 多媒体同步 第6章 多媒体同步 学习目标 ? 掌握
多媒体同步系统的缓冲区补偿技术.pdf
多媒体同步系统的缓冲区补偿技术 - 第 26 卷 4 期第 2003 年 4 月
空间多媒体通信中音视频同步技术研究_图文.pdf
空间多媒体通信中音视频同步技术研究 - 第2卷第6 7期 文章 编号:0638
多媒体技术及应用B卷.doc
2009 2010 学年第二 武汉民政职业学院 2009 至 2010 学年第二学期 高职 多...多媒体技术的主要特征是指( A.多样性、同步性、交互性 C.多样性、层次性、...
多媒体技术教学大纲.doc
多媒体技术教学大纲 - 《多媒体技术》课程教学大纲 一 1.课程基本情况 课程名称:多媒体技术 英文名称:Multimedia Technology 课程编号:2413225 开课专业:计算机科...
多媒体技术参考教材《计算机应用基础》06版第3章《大学....ppt
多媒体关键技术四、大容量的光盘存储技术 五、多媒体同步技术 六、超大规模集成...文档贡献者 lisuyan210 贡献于2018-08-09 1 /2 相关文档推荐 ...
《多媒体技术应用》章节练习.doc
多媒体技术应用》章节练习 - 第一章 多媒体技术应用概述 1.1 走进多媒体世界 一、选择题 1.以下哪些技术多媒体技术的关键技术( )。( 1 )大容量存储技 ...
多媒体技术应用概述导学案.doc
(4)多媒体同步技术 D.(1)(2)(3)(4) C.(2)(3)(4) 2.所谓媒体是指...文档贡献者 静心雨莲 贡献于2013-09-24 1 /2 相关文档推荐 第一章多媒体...
09多媒体技术应用 选择题专项练习九(201106)(无答案).doc
09多媒体技术应用 选择题专项练习九(201106)(无答案)_其它课程_初中教育_教育...媒体关键技术的是( ①大容量存储技术 ③多媒体同步技术 ④远程访问技术 )) ②...
多媒体通信技术复习题二答案 2.doc
多媒体通信技术复习题二答案 2 - 多媒体通信技术练习题 B 答案 一、填空题
多媒体技术基础_图文.ppt
多媒体技术基础 - 《大学计算机基础教程》 多媒体技术基础 第5章 多媒体技术基础 主要内容 ? 多媒体的基本概念 ? ? 音频的编码技术 图像的编码技术 ? ? 视频...
多媒体计算机技术1_图文.ppt
技术 高速多媒体通信技术 思考题 数据压缩及编码技术 多媒体同步 ? ...到2004年采 用0.09微米工艺的第五代安腾处理器 Montecito的产品面积可能会...
多媒体技术应用(选修)_图文.ppt
多媒体技术应用(选修) - 多媒体技术应用(选修) 第一章 多媒体技术应用概述 1.1 走进多媒体世界 1.2 多媒体技术应用 多媒体技术的概念、特征及发展 问题: ...
博物馆展示中多媒体技术的应用方法.doc
博物馆展示中多媒体技术的应用方法 - 博物馆展示中多媒体技术的应用方法 近年来,
高中信息技术选修多媒体技术应用测试题3套.doc
() 4. 多媒体同步技术的功能就是解决声,图,文等多种感觉媒体信息的综合处理...数据易于存储、处理 ) C、10.35MB D、10.09MB (课本 43 页的计算公式要 ...
更多相关标签: