在过去，高清分辨率（HD）格式在视频内容创作中占据主导地位。最近，标准分辨率已被提升至4K，甚至到8K，这使得视频编码或解码面临挑战。用于这些较高分辨率的压缩格式主要有Apple ProRes、Avid DNx和SONY XAVC。由于这些压缩格式是专有的，因此ASIC或GPU并不能原生支持这些格式，而且CPU提供的性能也不佳。因此，在较高分辨率下创作视频内容时，FPGA是最佳的解决方案。

　　Import：导入

　　Editing Software：编辑软件

　　Import（Decode）：导入（解码）

　　Export（Encode）：导出（编码）

　　Remote Edit：远程编辑

　　Export：导出

　　在新的趋势下，远程后期制作的概念正变得越来越普遍。然而，现有的电脑并没有足够的能力来实时处理高分辨率的内容（例如8K）。因此，编辑人员开始借助云基础设施来获得更好的计算性能。此外，由于需要保持社交距离，新冠肺炎疫情也加速了这一趋势。基于云和FPGA的解决方案为编辑人员提供了巨大的好处。Achronix Speedster7t系列FPGA器件进行架构创新，例如二维片上网络（NoC），使其特别适合于加速编码和解码算法。

　　人工智能与深度学习

　　人工智能、机器学习和深度学习是众所周知的领域，它们在过去几年中得到了迅速的发展。除了这些领域，图像识别也逐渐成为一个全新的重要领域，这得益于人工智能/机器学习（AI / ML）的创新。例如，先进驾驶员辅助系统（ADAS）使用深度学习算法来处理捕获的图像。安装在车上的行车记录仪使用H.264压缩技术记录视频，然后将视频流转码为诸如JPEG或PNG等合适的图像格式，以用于深度学习图像识别。根据应用场景，可以同时完成丢帧、更改分辨率或其他图像处理任务。

　　在零售业的安全摄像头或物流业的包裹分拣中也有类似的应用案例，其数据流与上述示例相同 —— 这些应用中的摄像头使用H.264或H.265等压缩比相对较高的压缩格式记录视频，然后将编码的视频流传输到云端或数据中心。在云端，视频流由原始格式转码为适合深度学习的格式，将视频文件转换为图像资料库。

　　图4：典型的深度学习图像数据流

　　Transcoding：转码

　　Different compression：不同的压缩率

　　Video=Image：视频=图像

　　AI：人工智能

　　Deep Learning：深度学习

　　Image Recognition：图像识别

　　从历史来看，FPGA一直擅长将电影转码为图像。此外，使用FPGA中的深度学习算法对图像预先进行预处理，不仅可以提高吞吐量，而且还能减少系统级的数据事务量。Achronix Speedster7t的创新架构及其带有的专用机器学习处理器（MLP），使之成为实现定制的和既定的深度学习算法的理想选择。

　　FPGA代表性视频用例的性能

　　我们分别使用FPGA和CPU来实现上述三个典型应用案例，并对一些关键指标进行对比，如下表所示。

　　表2：FPGA与CPU的性能比较

　　表注

　　↑ FPGA提供更佳的性能。

　　↔ FPGA和CPU提供同等的性能，但FPGA是卸载CPU负担的首选解决方案。

　　↓ FPGA和CPU提供同等的性能，但CPU是首选解决方案。

　　视频流传输

　　在视频流传输应用中，常用的压缩格式是H.264或H.265，因为终端（接收端）设备原生支持这些格式。诸如位深或色度和分辨率等参数通常为8位、4：2：0和1920×1080或1280×720。在解码器方面，基于FPGA的实现比基于CPU的系统提供更高的吞吐量。在数据层面，FPGA效率更高，因为如果将CPU用于纯数据处理之外的其他任何与数据相关的任务时，它通常都没有得到充分的利用。然而在编码器方面，硬化的CPU编码器内核是专门针对这些典型参数而设计的，并提供了足够的性能。

共5页: 上一页12345下一页