安谋科技：生成式AI重塑智能物联“芯”应用
随着端侧AI势如破竹的发展，在最近召开的2024国际AIoT生态发展大会上，安谋科技智能物联业务线业务发展与方案总监商德明先生为所有芯片、端侧AI开发者们介绍端云之间生态互动的产生以及所涉及到硬件的更新、软件和应用的变化。无论是端侧还是云侧，最终要实现的目标是为了带来更大的生态效应，能够支持更多的客户使用相同的方案。通过云跟端的整体配合，云端混合的方式能够真正落地，产生最大的效益。
1、节约成本
不管是什么样的任务、请求，每一次的传输，都会经过大模型的计算，电力成本就会非常高，但是如果在端侧区域去进行一部分推理，帮助用户，成本就会少很多。以及云端能源的耗费，如果我们仍然将重心放在云端上，将来可能全世界开发的能源都要被云端所消耗。
2、信息安全
端侧的AI嵌入意味着在端侧就能进行信息的识别、处理，在私密性和安全性方面天生有优势。不仅是关乎个人的数据，更是涉及到很多敏感的，需要安全级别高的数据，包括金融、财务等方面，这些非常重要的数据，放在端侧能更好地保证数据的安全性，避免了统一存储云端的不安。
3、及时反馈
有些性能要依赖网络来解决问题，就会面临延时的问题，网络某种程度上影响了云端运行效率。即时性要求不高的行动或许还能接受，但是有很多关键性的应用，需要及时反馈行动，比如机器人去救火，或者是快速及时的汽车行驶，这些场景对实时性的要求非常高，云侧AI所带来的弊端就显现出来了。
端侧AI会带来什么样的变化?
1、芯片
无论AI如何发展，研发、制作芯片的成本依然非常高。因为芯片一旦进入到设备，比如进入到车里或者服务器里面，它所关联的价值就更高，芯片会有一个非常重大的责任，需要负责端侧在安全、整个功能上的推进。所以芯片的稳定性、鲁棒性和先进性非常重要，更新迭代的速度也很快。
然而除了这些常规的性能要求，目前端侧AI所运用到的芯片还需要从不同场景中抓取搜集数据。通过海量芯片在市场上的应用，芯片可以把应用场景以及相关的数据都抓取出来，还可以从全世界所有用户的使用行为中发现问题，为芯片的更新迭代提供参考，或者是从一些特殊的场景去集中收集、汇聚信息，更加完整地去测试各种端侧所处的场景，从而保证技术在不同的场景、不同用户之间可以保持一定的稳定性。
2、传感器
传统端侧的传感只是起到采集、传输的作用，像一个沉睡中的大脑，但是随着 AI的价值和发展，不仅仅是对传感、对数据的采集、传输，大脑要醒来，对整个数据分析，以及分析过后反馈、采取行动。
传感是多模态的，例如自动驾驶、机器人等，在视觉上有8k、4k的摄像头若干个，还有雷达、激光、声音等相关的传感，多模态输入使它的复杂度提高。同时，面对海量的数据，如何使你的架构更加合理，能够更加快速、实时地处理这些数据，精确提供企业需要的足够的判断基础。然后通过AI大模型的生成、AI的判断，能够及时地做出反馈，使得一些相应的动作能够发生。所有端侧设备都面临这样的需求，解决架构上的问题。
计算架构要优化就要求算力的提升。之前的发展模式中，计算机或者芯片基本上都是代理，或者以一个CPU的架构思维、判断去做公式的计算，因此一个CPU也就是几个线程、几十个线程的能力去发展。但是随着 GPU的出现，上百万的并行的计算有条件发生，甚至于不仅仅是同一个指令、多个数据并行，现在可以同时很多的指令在一个周期里面多个数据进行计算。
3、半导体
