2019年12月10日，手机厂商OPPO在深圳举行“未来科技大会2019”。OPPO创始人兼首席执行官陈明永罕见地登台演讲。他发表了主题为“共创万物互融新生态”的演讲。他认为万物互联只是一种连接，万物互融才是5G时代的主流。5G是一个大概念，而5G注定了必定要与其他技术相融合。5G带来了场景之间的连接新方式，OPPO会提供更多的技术服务，而万物互融则是5G时代繁盛的基石。
小编个人认为，从万物互联升级到万物互融，是完全正确的。陈明永的说法都是对的，都是很有前瞻性的规划。但是，陈明永说的这些都只是规划。要怎样是实现这个愿景呢？陈明永并没有展开来详细谈，只说未来三年投入500亿元做研发。跟陈明永说法类似的是，去年8月9日至8月11日，华为举行了“2019华为开发者大会”，在这次大会上，华为消费者业务CEO分享了“全场景”的概念，华为正式提出“全场景生态战略”，华为的芯片、智能终端（例如“智慧屏”）都在强调全场景的链接。
无论是OPPO陈明永说的“万物互融”还是华为余承东说的“全场景”，都是在强调一点，就是“边界的模糊”，产品之间应该是没有边界的，产品之间可以完全融合在一起。生活体验是没有边界的，各种体验应该是统一的。机器对于人的感知、理解也应该是多方面的。
无论是想要实现“万物互融”还是“全场景”，在技术上最关键的还是AI芯片，只有更加聪明、智慧的AI芯片才能做到这一点。在人机交互方面，以前市场上的单模芯片仅仅能实现某一个扇面（例如视觉或者听觉）的能力，而多模态芯片则能实现全场景的链接。多模态就是把“文字、语音、视觉、动作、环境”等多种方式融合在一起。说白了，这个交互的本质就是“让机器也有感情”。
作为国内芯片设计行业的龙头厂商，珠海炬芯科技在单模芯片领域取得了很大的成绩。近期，炬芯又进军了多模态芯片领域，炬芯ATS3609 (D) 是一款超低功耗的全集成多模态交互芯片平台，多Mic拾音，支持全场景唤醒打断、手指点读， AI伴读，GUI 反馈。ATS3609 (D) 具有双核异构架构，集成 Cortex-A5 CPU 和 CEVA-X2 DSP，拥有足够的算力；集成 PMU，支持低功耗和自适应动态电源管理架构。在为用户提供高性能的同时带来超低的功耗。是一枚高性能、低功耗、优成本特点于一身的优质多模态交互智能芯片平台。
炬芯ATS3609 (D) 可以至少可以做到三种模态的统一：首先是语音交互，包括语音指令控制、语义理解、多轮对话、NLP、语音精准识别等领域；其次是机器视觉，包括自然物体识别、人脸识别、肢体动作识别等；第三则是则是传感器智能，包括AI对热量、红外捕捉信号、空间信号的阅读与理解。
那么，多模态交互的主要场景有哪些呢？在物联网设备上，大概就是用机器视觉技术进行嘴唇识别，来分离语音交互指令。尝试通过用机器视觉来读取说话人的唇语和动作，来判断每个声音指令的来源。在智能空调解决方案当中，在一些新的智能空调解决方案中，空调会在语音交互的基础上通过机器视觉来判断用户的位置，提供智能送冷，并且会结合传感器判断屋内温度和湿度，提供更精准的环境方案。多模态电视。今年电视背后的AI平台战打得风生水起，把机器视觉技术引入电视成为了新的趋势。通过机器视觉来让电视观察屋内照明情况、用户与电视的距离，电视可以主动调节屏幕光线强度，输出比较护眼的模式。还有的AI应用是让电视在观察到儿童看电视后主动开启童锁。
由此可见，多模态芯片的应用是非常广泛的，也是芯片拓展更多领域的必然方向。不过，多模态感知还包括机器嗅觉，机器触觉和情绪理解等内容，但目前还没有落地产品。相信通过炬芯的努力，将会有更多的多模态产品最终落地。