云南龙网

  1. 首页 > 云知道 > >

淘宝图片制作教程 免费淘宝图片处理软件( 四 )

云知道免费


2.3 S265解码提升覆盖率一直以来，H265的解码兼容性是大家关心的话题，假如生产端编码出265码流，但播放端不能支持265解码，需要在服务端转码成264格式，这不仅不能减少CDN带宽，反而会增加转码成本 。在解码这一侧我们做了很多工作：
1、硬解码适配 。对市面上基本所有机型（>1000款）都进行了适配；
2、自研高性能Native H265解码器，在小米5 720P的设备上做测试得到240帧左右的速度，通过很低的功耗实现实时解码 。
3、H5的解码 。H.265在H5中没有支持，我们基于WebAssembly技术来支持H5的播放 。目前可以做到在i7电脑上1080P 30fps的实时解码，CPU消耗在30%以内；
2.4 淘宝编码器落地历程基于以上的编解码内核和应用方面的探索，我来介绍一下淘宝编码器的落地历程 。2017年开始投入S265的研究，经过一年多时间，开始在直播业务的落地；2019年的Q1第一版上线后结果不算太好，大约节省30%码率；2020年Q1第二版上线后节省40%码率；今年的Q1第三版结合窄带高清技术实现了50%码率节省 。短视频方面，我们尝试将S265应用到淘宝短视频转码，2019年Q3第一版上线，2020年上线第二版 。
基于在S265核心编码器上的积累，我们从2020年Q2开始了S266编解码器的研发工作，并率先在行业内公布了可商用的S266解码器 。
解码器方面对比VTM实现单核3.5倍提速，多核16倍提速；在高端的手机（IPhone12、P40）实现4K 30FPS解码，低端手机720P双核实现30FPS解码 。720P内存消耗<35m< span=””>和Binary<1m< span=””>，对大型APP来说非常关键，包过大时安装下载会受阻 。
我们内部正在做VVC编码器，目标是1FPS Slow档对比X265 Veryslow节省50%码率；30FPS Fast档对比X265 Medium节省40%码率 。大家知道VVC比HEVC会更慢，一段1分钟的4k视频用HEVC的HM压缩需要几天，而如果用VVC的VTM则可能需要一个月，时间消耗会非常长 。目前我们Slow档已经做到比VTM提升100倍速度但是压缩效率接近 。
总结一下，淘宝的S265智能编码方案目标是让视频更清晰，覆盖所有业务场景，包括图片压缩、会议SCC、直播、云转码甚至云游戏 。
业务策略上包括场景分类自适应、智能码控、针对不同场景的延时需求，做延时的适配及优化（在非常低的延时下达到接近不限延时的压缩效率）、算力自适应（根据不同的设备自适应调节编码的速度档次） 。
编解码内核包括码控及前处理、编码工具集、快速算法，编码框架等优化 。
系统平台包括基于ARM平台的（armV7/arm64）及X86实现（SSE/AVX）、目前在考虑基于FPGA、ASIC的实现，还有质量评价系统和训练集群来辅助编码器研发 。
03 视频处理提升画质体验
下面介绍视频处理提升画质体验的观点 。
3.1 视频处理提升画质视频失真来源于很多方面：包括过曝失曝、缩放、失焦、频闪、色彩损失、压缩损失、噪声、抖动、帧率下采样 。我们有自己的视频增强工具集做对应适配比如去块失真（DeBlk）、超分辨率（偏向端侧的和服务端不同版本的模型）、纹理细节增强、视频去抖（DEI）、色彩增强、暗光增强、时空域去噪 。
3.2 淘宝短视频窄带高清转码淘宝短视频的整个转码迁移到窄带高清技术上，从视频生产链条分为内容编辑、上传（上传要求上传成功率高、速度快，我们有多PASS上传，切分上传、转码、审核（有低质、失真视频需要筛选）、播放（根据播放设备能力做后处理及渲染） 。
向大家介绍一下转码服务，它的核心技术是窄带高清和S265，分别有两个视觉处理模型 。首先是窄带高清的处理模型包括质量分类，细小纹理去除、脱焦区域弱化（节省码率）、易感知纹理增强（增强视觉体验）、人脸保护（避免过度增强引起体感不好）、马赛克修复、去隔行扫描 。S265视觉压缩模型有三个点，人眼感知与失真拐点（BD-rate曲线刚开始较陡，向后较缓，要找到高性价比的点，感觉不出更多的失真又可以达到合适码率）、码率与分辨率甜蜜拐点（不同码率在不同内容上适合于不同分辨率压缩 。如果一个非常低的码率300K强行压缩1080P出来都是块主观体验很差，如果压缩540P、360P可以获得更高的视觉体验）、场景分类编码（不同分类场景适合不同编码参数、码率的选择） 。

推荐阅读


上一篇：一般请人做网站的费用 做网站要多少钱一个

下一篇：10万元创业项目推荐 10万块创业能干什么项目好