大模型出现之后，许多企业看到了提效的新方向。那么，企业内部可以如何快速应用大模型、Agent等技术来实现提效？这篇文章里，作者结合自己的思考做出了一定梳理，一起来看。
大模型出现之后，许多企业看到了提效的新方向。那么，企业内部可以如何快速应用大模型、Agent等技术来实现提效？这篇文章里，作者结合自己的思考做出了一定梳理，一起来看。
企业内部使用大模型，底线是在安全允许的范围内，……
模型本身是不直接产生价值的，基于基础大模型开发出来的应用才是模型存在的意义。本文作者从8个方面简析企业内部如何快速应用大模型、Agent等技术来提效，希望对你有所帮助。
一、如何用好大模型，让它发挥最大价值？
两条路子，finetune、prompt。代理传统Bert类模型的微调训练的方式，使用更为高效的Prompt来指导LLM（即Prompt Engineer 又称为 In-Context Prompt），使其产生出期望的结果，无需改变模型的权重。
二、大模型应用领域
当前看大模型冷启动成本较低，泛化能力强，而小模型的可解释性和准确性胜出（行业发展非常之快，这一点在某些领域可以已经反转，受限于笔者的学识，难免局限，还望批评指正）。
各应用场景对可解释性，准确性要求较高，现阶段大、小模型结合落地的主流方式有两种。
第一种为将大模型与小模型进行级联。例如使用大模型从复杂数据源中抓取客户历史交易记录，沟通信息等，对数据进行自动打标，并输出结构化数据，用以丰富小模型数据集，提高小模型预测效果。
第二种为使用大模型作为小模型解决问题的中枢大脑。例如，利用大模型将复杂问题拆解为解决步骤，并在各步骤调用小模型能力，最后通过大模型进行总结性输出。
应用场景：汇集智慧、唤醒沉睡知识、众创数据价值、数字分身等。
三、在什么条件下，大模型才能更好地发挥价值？
大模型应用走得较快的企业，有三个共同点：
其一，是技术上的积累达标（可以让大模型run起来）。
其二，数字化建设方面做得比较扎实。在数据治理、数据资产管理和数据服务、数据安全管控、数智融合架构等方面，有较为扎实的基础。
大模型训练80%的时间都花在数据准备上。如果能打通数据和AI孤岛，让大模型直接在数据/信息（结构化、非结构化or半结构化）所在的集群上运行，无需搬运，就可以节省大量的时间和资源。其次，是业务流程清晰、明确。已经梳理、甚至是优化成标准的业务流程、规范。如果再有可衡量的指标作为check标尺，就更为加分。
其三，也是最关键的，需要有一群先驱，能起到带领、试验、示范的作用，快速试错、探路子，进而带动企业内部更多的人参与进来。实现从点、到线、到面、到空间的立体式多渠道的突破。
当一个新事物出现时，往往有下图的5类人出现。他们会依次接受新技术的变更。当灰色的谨慎派、迟钝派群体过大时，想推进下去是非常难得。特别是当反对派的声音占据优势时，甚至会抹杀掉先驱创造的一点点领先优势～。面对大模型，我们自问，我是谁？
四、大模型固有的问题/短板有哪些？
相信随着大模型领域的高速发展，如上这些问题正在日新月异的被突破，每天的晨报都能给我们带来令人欣喜的消息。
五、在哪些场景下，更适合让大模型发挥作用？
六、企业应用大模型的五个阶段
企业用户对大模型的应用，可以分为5个层级：
七、使用大模型的工作流程
1. 业务痛点梳理。
2. 明确模型、知识等基础组件。
3. 安全评估。
4. 搭建Agent，以查询（Query）模式为例：
- Step1.自然语言提问（ChatBot）
- Step 2.Al智能实时查询（Text to Query）
- Step3.数据处理（Data Format）
- Step 4.数据组合（Template Render）生成报告（Data to Report Agent）
- Step 5.生成回答（ChatBot）
- Step 6.追问（LangChain ->Function Chaining）
5. 灰度上线运营。
6. 上线后效果评估（AB），持续优化。
八、企业内部要建设LLM应用平台吗？
如何让企业内部快速的把大模型用起来呢？有三条路子可以走：
关键词：Agent、Chat GPT、生成式AI、AIGC、LLM、AGI、SQL、大模型应用。
作者：杨姝，黄帅，岑锦超
本文由@shucay 授权发布于人人都是产品经理，未经许可，禁止转载