随着AI应用需求的不断递增，英特尔以强大的芯片基础、软件定义的简便性以及开放多元的生态系统，帮助企业简化在PC、边缘和数据中心部署AI的复杂流程，助力他们充分释放AI潜力。

　　AI正在以前所未有的速度迅速席卷全球市场。据Gartner预测，到2026年，80%的全球企业将使用生成式AI，50%的全球边缘部署将包含AI。而IDC数据显示，中国生成式AI投资增长加速，2022到2027年五年的复合年增长率达到86.2%，生成式AI正在成为驱动智能发展的关键技术。在这当中，边缘侧AI正在为企业释放更强大的生产力发挥越来越重要的作用。

　　Gartner预测，到2025年，50%以上的企业管理数据将在数据中心或云之外创建和处理。而且，随着AI为自动化带来更多机会，到2030年，至少一半的边缘计算部署将纳入AI。

　　英特尔中国网络与边缘计算事业部高级平台方案架构师杨涛在“2024国际AIoT生态发展大会”上谈到，之所以要把一部分AI能力放在边缘侧，这与数据安全性、网络时延以及可能出现的网络带宽风暴密切相关。并且，与云端和数据中心当中的大模型使用相比，一般来说边缘侧模型的参数会相对小一些。

　　他也提到，当下随着AI应用需求的不断递增，英特尔以强大的芯片基础、软件定义的简便性以及开放多元的生态系统，帮助企业简化在PC、边缘和数据中心部署AI的复杂流程，助力他们充分释放AI潜力。

　　边缘AI市场持续升温，驱动企业在边缘侧部署的实际原因?

　　“一是数据的安全性，是不是放心把数据都放到云端，还是在边缘端更合理。第二，随着边缘数据量越来越大，整个传输带宽是个问题，虽然国内在整个基础建设传输带宽建设是全球最领先的，但当大量数据在边缘产生时，仍然可能引发网络风暴，我们仍需要进一步优化网络管理和数据传输策略。第三，实时性，很多东西只能在边缘做才能解决实时性的要求。”

　　也正是基于以上原因，使得边缘AI正在成为越来越多企业新的选择。

　　英特尔除了在数据中心训练的产品以外，也在针对集成显卡重新做一些大的架构改动，以此来提高更多的算力。

　　大量的AI应用，芯片厂商该怎么去满足算力需求?

　　在传统的CPU里面，我们会通过新加一些向量指令来支持这些AI，但是传统的CPU有它的算力瓶颈，大概最高能到5 Tops算力水平，不过它的灵活性会非常高，而且计算速率会更快。

　　杨涛透露，英特尔也在考虑另外一种的计算单元NPU也就是神经网络处理器加速器，“下一代AI PC旗舰处理器Lunar Lake集成了CPU、GPU、NPU，这些器件总计带来了120TOPS的AI算力——CPU通过添加向量指令支持AI，可以带来5TOPS的算力，内置的GPU算力高达67TOPS，同时还带矩阵计算能力，NPU(神经网络处理器)带来更高的效率，带来了最高48TOPS的算力。”他表示。

　　在边缘侧除了算力挑战之外，软件层面也面临着如何把算力释放出来的挑战。目前数据中心的训练都是开拓企业增值服务这种框架，但是这种框架一般非常繁琐，在边缘侧使用起来这种框架就会不够灵活，性能也不是特别理想。

　　为提高产品开发的灵活性，英特尔还特别推出了OpenVINO™工具套件，此工具套件专为加速机器学习解决方案开发而设计。英特尔® 发行版 OpenVINO™ 工具套件基于卷积神经网络 (CNN)，可在英特尔® 硬件(包括加速器)之间共享工作负载，从而最大限度地提升性能。满足开发人员、OEM和ISV的需求，帮助他们采取具有高性能、易用性和可移植性的AI推理。

　　英特尔® 发行版 OpenVINO™ 工具套件包括：

　　模型优化器，用于转换来自 Caffe*、TensorFlow*、Open Neural Network Exchange (ONNX*) 和 Kaldi 等常见框架的模型

　　推理引擎，为跨英特尔计算机视觉加速器(包括 CPU、图形处理单元、FPGA 和英特尔® 神经电脑棒 2(英特尔® NCS2))的异构执行提供支持

　　适用于异构英特尔® 硬件的通用 API

　　在演讲最后环节，杨涛透露，英特尔产品发展的三个方向：支持更多模型、优化边缘侧推理、以及跨平台部署，通过神经网络压缩、量化技术和动态算力调度等技术，致力于提供性能优越、功耗优化的推理平台。