您的当前位置:首页正文

基于时空预测的H.264快速帧内预测模式选择算法

来源:汇意旅游网
第31卷第9期 2010年9月 通信学报 、,0l-31 No.9 Journal on Communications September 2010 基于时空预测的H.264快速帧内预测模式选择算法 徐平,余青山,金朝阳,徐伟栋 (杭州电子科技大学自动化学院,浙江杭州310018) 摘要:提出了一种基于时空预测的H.264快速帧内预测模式选择算法,算法充分利用视频序列中的空域和时域 上的相关性,通过构建空域和时域的最佳帧内模式概率直方图来改进Pan等人提出的基于边缘方向直方图的帧内 快速模式选择算法。实验结果表明,基于时空预测的H.264快速帧内预测模式选择算法在保持基本相同的编码图 像质量和输出码率的同时,可显著减少编码时间,显著提升H.264的编码性能。 关键词:H.264;帧内预测;模式选择;时空预测 中图分类号:TN919.8 文献标识码:B 文章编号:1000—436X(2010)09—0139—07 New fast intra-prediction mode selection algorithm based on spatio-temporal predicting for H.264 XU Ping,SHE Qing—shan,儿N Zhao—yang,XU Wei—dong (College ofAutomation,Hangzhou Dianzi University,Hangzhou 310018,China) Abstract:A new fast intra—prediction mode selection algorithm based on spatio—temporal predicting for H.264 was pre— sented.Using the correlation of spatial and temproal domain in video sequence and constructing the probability histogram of intra prediction mode in the spatial and temporal domain,Pan’S algorithm based on edge direction histogram was im— proved.Experimental results show that the proposed algorithm can signiicafntly reduce coding time and enhance the per- formance of H.264 while maintaining same image quality and output rate. Key words:H.264;intra—prediction;mode selection;spatio—temporal predicting 1 引言 在H.264标准中,为了获得高质量和高压缩比, 函数 j,寻找可以替代RDO,且基本不影响编码质 量的简化RDO代价函数;2)通过概率预测或者阈 值判断减少候选模式数l4 ,预测各模式被选择为 最佳模式的概率,减少小概率模式的编码;通过实 验统计等方法获得阈值,在编码过程中一旦满足阈 采用率失真优化RDO(rate distortion optimization) 模型[1,21进行帧内预测模式选择。但同时,帧内预测 模式选择算法的高计算复杂度是制约H.264实际应 用的主要因素之一。 值条件,提前终止后续的模式选择过程,减少候选 模式数。 针对帧内预测模式选择的改进策略研究,成为 近年来国内外的研究热点。现有的帧内预测模式选 择改进算法,大体可分为2类:1)简化RDO代价 上述的第2类方法是目前业界的主要研究趋 势。Pan等人基于边缘方向直方图预测最佳帧内模 式,仅在几个大概率模式中进行选择,显著减少候 收稿日期:2010—01—08;修回日期:2010—07—06 基金项目:国家自然科学基金资助项目(60901032,60705016);浙江省自然科学基金资助项目(1080674,1090761) Foundation Items:The National Naturl Sciaence Foundaiton of China(60901032,60705016);The Natural Science Foundaiton of Zh ̄ing aProvince(1080674,1090761) ・140・ 通信学报 第31卷 选模式数,提高编码速度 。Wang等人提出基于 边缘强度的帧内预测算法,将4×4亮度块的9个 帧内预测模式中垂直、水平、45。、135。和DC模式 作为主模式,分情况确定候选模式【6】。Wei等人采 用基于NHT(non—normalized Haar transform),提取 边缘的方向信息,排除冗余的模式【7]。Tsai等人采 用梯度强度滤波算子,以确定宏块的方向性,减少 候选模式数量【8】。蒋刚毅等人计算4×4亮度参考块 的方差,对于方差较小的亮度块,仅采用几种概率 高的预测模式 J。贾克斌等人提出了一种基于自相 关性的帧内预测算法,该算法在进行帧内预测之前 先进行宏块预判,从2种预测模式中选择一种,从 而减少算法的复杂度【1们。苏睿等人利用变换域的信 息得到图像纹理方向,仅在的几个高概率模式中进 行模式选择,降低运算量Il 。陆璐等人对块的细节 程度和纹理方向进行分析,根据细节程度和纹理方 向对模式进行筛选,从而提高模式搜索速度『I引。黄 凯等人在Sobel模式判决算法的基础上,提出一种 面向VLSI的模式优化算法I1引。腾国伟等人利用色 度块和亮度块以及4X4亮度块和16×16亮度块模 式选择之间的相关性,提出一种基于RDO的快速 模式选择算法Il制。文献【15】通过大量实验观察得出 以下结论:多参考帧运动估计中的最佳匹配块的帧 内模式是当前块时域的最佳帧内预测模式。基于此 结论,采用与最佳匹配块重叠像素最多已编码块的 帧内模式作为当前块的最佳帧内预测模式。文献[16】 提出了基于时空相关性的快速模式选择算法。该算 法应用于AVS.M平台,其模式预测是基于以下假 设:图像块时域间的距离越近,时域相关性越高, 预测模式相关性越强。由于该算法不是基于文献 [15】的观察结果,算法的时域预测准确性有待进 一步提高。 Pan等人【4.5】提出的基于边缘方向直方图的快 速帧内预测模式选择算法(以下简称Pan算法) 是第2类方法中具有代表性的一种算法,可在保 持较好的编码图像质量的同时较大地提升编码速 度。但是,该算法仅利用了块内部纹理信息进行 候选模式的概率预测,没有充分利用编码过程中 存在的时域和空域相关性,因此,编码效率还有 待提高。本文在Pan算法的基础上,充分考虑编 码过程中的时域和空域相关性,提出了基于时空 预测的H.264快速帧内预测模式选择算法,进一 步精简候选模式数,从而进一步提高帧内预测模 式选择的速度。 2 Pan算法的空域改进 在Pan算法中,分3种块类型(16X 16亮度块、 4×4亮度块和8×8色度块)分别建立各自的边缘方 向帧内预测模式概率直方图,减少候选模式数。Pan 算法通过在初始化过程中引入高计算复杂度的 Sobel算子运算获得内部块的纹理方向概率直方图, 确定候选模式数。Pan算法仅利用了块内部的纹理 信息,而未充分利用空域已编码邻块的信息。本文 通过引入已编码邻块信息,利用已编码邻块帧内模 式构建当前编码块的空域最佳模式概率直方图,确 定空域候选模式。 3 Pan算法的时域改进 - Pan算法仅利用当前块的内部信息来预测最佳 帧内模式,以提高帧内预测模式选择的速度,没有 考虑视频序列的时域相关性。此外,在初始化阶段 的Sobel算子求概率过程,复杂度较大,较大地增 加了编码开销。 视频图像不仅在空域上具有较高的相关性, 而且在时域上也有很高的相关性。由于H.264中 是先进行多参考帧运动估计,然后进行帧内模式 选择确定最终编码模式,因此在进行帧内模式选 择之前已获得最佳匹配块。本文利用最佳匹配块 构建当前编码块的时域最佳模式概率直方图,预 测当前块的最佳帧内模式,并避免复杂的Sobel 算子运算。 4算法实现 基于时空预测的快速帧内预测模式选择算法 利用了帧间运动估计最佳匹配块的信息,为了尽 量减少帧间编码的差错扩散,算法对I帧采用全 搜索方法,从而得到I帧的最佳帧内模式,并保 存下来。 基于时空预测的快速帧内预测模式选择算法 的流程如图1所示,详细步骤描述如下。 1)初始化 当一个块编码完毕,保存其最佳帧内模式。每 一帧编码结束后,保存该帧的所有不同大小块(每 个块包括1个16X 16亮度块、l6个4×4亮度块和 2个8×8色度块)的最佳帧内模式,保存的帧数等 于参考帧的总数。 第9期 徐平等:基于时空预测的H.264快速帧内预测模式选择算法 ・141・ 图1基于时空预测的快速帧内模式选择算法流程 2)基于空域的模式预测 通过相邻已编码块预测当前块的帧内模式。图 2给出了空域模式预测的当前块E及其相邻已编码 块A、 、C和D的示意图,由式(1)可求得当前 块 的空域最佳模式概率直方图: for(/=O;i<4;i++) ( [f】)+=a[i] (1) 其中,M[O】、M[1]、M【2]和M[3】分别为相邻已编码 块A、B、C和D的最佳帧内模式; O】、 [1]、a[2] 和以[3】分别表示A、B、C、D与当前块E的相关程 度(值为0到1之问), ( [f】)表示帧内模式 [f】为 当前块最佳预测模式的概率。考虑到A和 与E直 接相邻,相关程度较大,而c和D与E是对角相 邻,其相关程度相对较小,假定有如下关系:以[2]+ [3]>口[1】= [0]>口[2】= [3]。实验中,a[0]、a[1]、a[2】 和 [3】分别设为1、1、0.7和0.7。 当前编码帧 图2基于空域的模式预测 利用式(1),可以分别得到4x4亮度块、16x16 亮度块和8x8色度块的空域最佳帧内模式概率直方 图。图3给出了当4x4亮度块的相邻已编码块A、 、c和D的帧内编码模式分别是模式5、模式2、 模式3和模式3时,即 [O】、 [1]、M【2]和M[3】 的值分别为5、2、3和3,当前块E的空域最佳帧 内模式概率直方图。可以看出,模式3的概率最大, 模式2和模式5的概率次之,而其余模式的概率很 小。将概率直方图中幅值最大者作为空域最佳帧内 预测模式,记为P[01。 图3给出仅存在一个最佳空域帧内预测模式的 情况。当A、B、C和D的编码模式均不相同时,A 和 的编码模式同为最大概率模式,此时将A和 的模式均作为最佳空域帧内预测模式,分别记为 P[0]和P[1]。 祷 娶 O l 2 3 4 5 6 7 8 模式 图3 4x4亮度块的空域最佳帧内模式概率直方图 3)基于时域的模式预测 通过最佳匹配块从时域预测最佳帧内模式。如 图4所示,经过多参考帧运动估计得到当前块E的 最佳匹配块为 。根据最佳匹配块尺在参考帧中与已 编码块重叠的位置,可分为R1、R2、R3和R4 4个子 块。利用各子块所属已编码块的最佳帧内模式和各子 块的像素面积可求得时域最佳模式概率直方图。 最优的参考帧 当前编码帧 匹配块R 图4最优匹配块帧内模式预测 帧内模式网格的构造过程如下:每一帧编码结 束后,按照每个块的空间位置存储每个块的最佳帧 内模式,构成帧内模式网格。网格的大小等于块的 个数。针对3种不同类型的块(4x4亮度块、16x16 亮度块和8x8色度块),采用3个大小不同的网格来 存储不同类型块的最佳帧内模式。 ・142・ 通信学报 第31卷 记R1、R2、R3和R4所包括的像素个数分别 为Ⅳ[0]、Ⅳ[1】、Ⅳ【2]和Ⅳ【3】。M[01、 1]、M2]和 3 第2种情况,当C[k一1]中不存在DC模式时, 增加DC模式作为候选模式。 4)得到最终的候选模式 合并上述空域和时域最佳帧内预测模式的结 果,得到最终候选模式。 5)经过以上步骤,候选模式数显著减少,对最 【3】分别保存尺l、尺2、R3和 4所属已编码块的 最佳帧内模式,块内总的像素数为S=∑Ⅳ[f]。 i=0 由式(2)可以得到时域最佳帧内模式概率直方图。 for(/=0;i<4;i++、 终候选模式采用RDO算法求得最佳模式。 (2) 5算法复杂度分析 [f] 图5给出了4x4亮度块 的最佳匹配块 的子 块R1、R2、R3和R4所属已编码4x4亮度块的最 佳帧内模式分别是2、2、4和5时的最佳帧内模式 概率直方图。可以看出,模式5的概率最大,模式 2的概率次之,接着是模式4,其余模式的概率很 小。取概率直方图中幅值最大者作为时域最佳帧内 预测模式,记为c[o1。当出现k个相同的概率最大 模式时,将这k个时域最佳帧内预测模式记为 C[k-1]。 0.6 O 5 0.4 褥 醛o 3 O 2 O 1 :. 。 O O 1 _.2 3  -4  5 6 7 8 模式 图5 4x4亮度块的时域最佳帧内模式概率直方图 针对C[ 1】中是否包括DC模式,进行以下讨 论。 a)对于4x4亮度块,分以下2种情况: 第1种情况,c[ 1】中包括DC模式,此时认 为DC模式概率很大,舍弃其他模式,最终只保留 DC模式; 第2种情况,C[ l】中不包括DC模式,将DC 模式增加为候选模式。 b)对于16 ̄16亮度块和8x8色度块,分以下2 种情况: 第1种情况,当C[k-1】中存在DC模式时,此 时认为DC模式概率很大,舍弃其他模式,最终只 保留DC模式; 表1给出了JM98、Pan算法(记为Pan)、基 于空域预测的快速帧内预测模式选择算法(记为 New1)和基于时空预测的快速帧内预测模式选择算 法(记为New2)的复杂度比较,采用最终候选模 式数和是否采用Sobel算子衡量算法复杂度。其中, 基于空域预测的快速帧内预测模式选择算法在初 始化过程中与Pan算法一样也采用了Sobel算子确 定初始的帧内模式,带来了较大的编码代价。基于 时空预测的快速帧内预测模式选择算法在4×4亮 度块的基于空域和时域的预测部分时各取得一种 模式的概率较高,再加上可能的DC模式,最终的 候选模式一般为1或2或3种。 表1 各算法复杂度比较 6实验结果 实验采用的硬件环境:AMD Athlon(tm)64 Processor 3200+2.0GHz;512MB内存;操作系统: Windows XP Professional Sevice Pack 2;软件实现平 台:JM98校验模型。实验采用5个标准测试序列, 包括3个QCIF序YlJ(News、Foreman和Silent)和 2个CIF序列(Mobile和Container)。实验参数设 置如下。 1)采用RDO; 2)采用CABAC 3)采用hardama变换; 4)帧率,QCIF:10Hz;CIF:30Hz; 5)QP取值:28、32、36、401 6)编码帧数:100: 第9期 徐平等:基于时空预测的H.264快速帧内预测模式选择算法 。143‘ 7)GOP类型:IPPP格式; 8)运动估计搜索半径,QCIF-16像素;CIF: 32像素; 9)参考帧数:5; 10)运动估计精度:1/4像素。 采用编码时间、比特率和平均信噪比的减少百 分数来衡量算法的优化性能。其中编码时间减少百 分数采用式(3)计算。 TjM98--Tproposed△ %= ——×l00 (3) 7 98 比特率减少百分数采用式(4)计算。 BjM98--Bproposed%= ——×1OO (4) M98 平均信噪比(PSNR)减少百分数采用式(5) 计算。 PJM98--Pp△尸%= —roposed—×1OO (5) 98 表2给出了Pan、New1和New2 3种算法CPU 总耗时减少百分数比较,基于时空预测的快速算法 与其他3种算法相比,平均编码耗时分别降低 35.81%、13.10%和9.98%,编码时间显著减少。表3 给出3种算法输出码率减少百分数的比较,基于时空 预测的快速算法与其他3种算法输出码率相差不大。 表2 编码时间的比较 表4给出3种算法亮度分量的平均PSNR减少百分 数的比较,4种算法的平均PSNR值基本一致。图 6给出这5个标准测试序列的率失真比较,这4种 算法的率失真曲线基本是重合的,这说明基于时空 预测的快速帧内预测模式选择算法与其他3种算法 相比,具有基本相同的率失真性能。 表3 输出码率的比较 ・144・ 通信学报 第3l卷 比特率/(kbit・s-‘) (a)News (b)Foreman 兽 磴} 迎垦 ∞ 迎里 比特率/(kbit・S ) (c)Silent (d)Mobile 兽 理 比特率/(kbit・S ) (e)Container 图6算法的率失真曲线 7结束语 通过以上实验和分析,可以得出以下结论, 与JM98全搜索算法、Pan快速算法和基于空域的 参考文献: e—distortion methods for im- 【1】 ORTEGA A,RAMCHANDRAN K.Ratage and video compression[J].IEEE Signal Processing Magazine, 1998,15:23-50. 预测算法相比较,基于时空预测的快速帧内预测 模式选择算法在保持较好的编码图像质量的同 时,平均编码总耗时分别降低35.81%、13.10%和 9.98%,显著提高编码速度,从而显著提升H.264 的编码性能。 [2】 WIEGAND GIROD B.Lagrange mul邱lier selection in hybrid video coder control[A].IEEE International Conference on Image Processing[C].2001.542—545. M H.ALTUNBASAK Y Low—complexity macroblock mode selec— [3】 KItion for H.264/AVC encoders[A].Proceedings of the 2004 Intema- 第9期 徐平等:基于时空预测的H.264快速帧内预测模式选择算法 ・145- itonal Conference on Image Processing[C].2004.765-768. [4]PAN E LIN X,RAHARDJA S,et a1.Fast Mode Decision for Intra Prediction[R].JVT 7th Meeting Patmya,Thailand IEEE JVT-G013, 20o3. [5]PAN E LIN X,RAHARDJA S,et a1.Fast mode decision lagorithm for intraprediction in H.264/AVC video[J].Coding Circuits and Systems For Video Technology,IEEE Transactions,2005,15(7):813—822. [6】WANG J,WANG J,CHEN J, nZ.A novel fast algodthln for intra mode decision in H.264/AVC encoders[A].Proceedings of the IEEE International Symposium[C].2006.3498—3501. 【7】WEIZY LIHL,KINGNN.An efifcientintramode selectionalgo— rihtm for H 264 based on fsat edge classiifcation[A],ISCAS 2007[C]. 2007.3630.3633. [8]TSAI A C,PAUL A,WANG J C,et a1.Efifcient intra prediction in H.264 based on intensity gradient approach[A].IEEE International Symposium[C].2007.3952—3955. 【9】蒋刚毅,李世平,叶锡恩等.基于块参考像素特征的快速帧内预测 模式选择新算法[J】_电子与信息学报,2006,28(10).1874.1878. JIANGGYLI S YEXE,et a1.Anovelfastmode selcetion algo— rihtm ofr intra prediction based on characteristics of block’s reference pixels[J].Journal of Electronics&Information Technology,2006. 28(1 01:1874—1878. 【1O】贾克斌,谢晶,方晟.一种基于白相关法的H.264/AVC高效帧内预 测算法[J].电子学报,2006,34(1).152—154. JIAKB,XIE J,FANGS.Anefifcientintra-framepredictionalgorithm based on autocorrelation for H.264/AVC[J].Acta Electronica Sinica. 2006,34(1):152—154. [1 1】苏睿,刘贵忠,张彤宇等.利用变换域信息快速实现H.264帧内预 测编码的新算法[J】,电子与信息学报,2007,29(1):161.165. SUR,LIUGZ,ZHANGTY eta1.Fastmode decisionalgorithmfor intraprediction in H.264/AVC wiht integer transform[J].Journal of Electronics&Information Technology,2007.29(1):161—165. 【l2]陆璐,周维.适用于H.264的快速模式选择算法[J].通信学报, 2006,27(7):117—121. LU L。ZHOU Efifcient inter mode selection lagorithm for H.264[J]. Journal on Communications,2006,27(7):117—121. 【l3】黄凯,秦兴,严晓浪等.一种H.264帧内预测模式判决算法及 VLSI实现体系【J】_电子学报,2007,35(2):207.211. HUANGK,QINX,YANXL,etaLAH。264intrapredictionmode decision algorithm and VLSI implementation[J].Acta Electronica Sinica,2007,35(2):207-211. 【14]腾国伟,王国中,张兆扬等.一种基于自适应阈值的H.264/AVC帧 内预测模式快速选择算法[J】.自动化学报,2006,32(4):526.533. TENG G WANG G Z ZHANG Z et a1.Afast intra-prediction mode selection algorihtm of H.264/AVC based on adaptive thresh— olds[J].Acta Automatica Sinica,2006,32(4):526—533. 【15】HWANGMC,CHO JK,KIM J S,eta1.FastIntraPredictionMode Selcetion Scheme Using Temporal Correlation in H.264[R】.IEEE Re— gion 10 TENCON 2005,2005.1-5. 【16]戴声奎,喻莉,朱光喜等.基于视频时空相关性的帧内预测模式抉 择[J1_通信学报,2005,26(11):43-48. DAI S K,YU L,ZHU G X,et a1.In ̄a-prediction mode decision based on video temporla and spatila correlation[J].Joumal on Communica— itons,2005,26(11):43—48. 作者简介: 徐平(1978一),男,江西安义人,博 士,杭州电子科技大学副教授、硕士生导师, 主要研究方向为图像编码与传输、图像处 理。 佘青山(1980一),.男,湖北荆州人, 博士,杭州电子科技大学副教授、硕士生导 师,主要研究方向为图像编码、模式识别。 金朝阳(1975.),女,浙江余姚人, 杭州电子科技大学副教授、硕士生导师,主 要研究方向为图像压缩传感、图像处理。 徐伟栋(1977.),男,浙江绍兴人, 博士,杭州电子科技大学副教授、硕士生导 师,主要研究方向为图像处理、模式识别、 机器视觉和机器学习等。 

因篇幅问题不能全部显示,请点此查看更多更全内容