"Illusions" affect "reliability"! Salesforce executives say "trust in large models has declined," and usage has decreased

企业软件巨头 Salesforce 高管承认，对大模型的信任度在过去一年中有所下降，该公司正在其主要 AI 产品 Agentforce 中减少对生成式 AI 的依赖，转而采用更多基础的 “确定性” 自动化技术来提高软件可靠性。

周一，据 The Information 报道，Salesforce 产品营销高级副总裁 Sanjna Parulekar 表示：“我们所有人在一年前对大语言模型都更有信心。” 该公司现在 Agentforce 中使用基于预定义指令的确定性自动化，而非完全依赖 AI 模型的推理和解释能力。

这一策略调整旨在解决大模型在处理精确任务时出现的 “幻觉” 等技术故障，确保关键业务流程每次都遵循完全相同的步骤。Salesforce 网站现在强调 Agentforce 能够帮助 “消除大模型固有的随机性”。

作为最具价值的软件公司之一，Salesforce 对大模型的部分退让可能对数千家使用该技术的企业产生影响，目前 Agentforce 预计年收入将超过 5 亿美元。

技术可靠性挑战推动策略转变

Salesforce 在实际应用中遇到了大模型的多项技术挑战。该公司 Agentforce 首席技术官 Muralidhar Krishnaprasad 指出，当给大模型超过 8 个指令时，它会开始遗漏指令，这对需要精确处理的任务来说并不理想。

家庭安防公司 Vivint 的经历印证了这些问题。该公司为 250 万客户使用 Agentforce 处理客户支持，但遇到了可靠性问题。例如，尽管给出了在每次互动结束时向客户发送满意度调查的指令，但 Agentforce 有时会因无法确定的原因不发送调查。

为解决这类问题，Vivint 与 Salesforce 合作在 Agentforce 内设置了"确定性触发器"，确保每次都能发送调查。使用这种基础自动化形式不仅降低了运营成本，也为客户提供了更低的价格。

应对 AI"漂移"现象

Salesforce 高管 Phil Mui 在 10 月的博客文章中描述了另一个关键挑战：AI“漂移” 现象。据 Mui 介绍，该公司 “最复杂的客户” 在使用 AI 时遇到困难，“当用户提出无关问题时，AI 代理会失去对其主要目标的关注”。

例如，被编程引导客户填写表格的 AI 聊天机器人在客户提出与表格无关的问题时会 “失去焦点”。为解决这一问题，Salesforce 开发了 Agentforce Script 系统，通过识别哪些任务可以由不使用大模型的"代理"处理来最小化大语言模型的"不可预测性"。

该系统目前处于测试阶段，旨在确保 AI 代理在面对偏离问题时仍能保持专注于核心任务。

实际应用中的调整与优化

在自身运营中，Salesforce 也调整了对大模型的使用程度。尽管 CEO Marc Benioff 此前表示，部分依赖 OpenAI 大模型的 Agentforce 现在处理 Salesforce 大部分客户服务询问，使公司能够裁减约 4000 名客户服务人员，但该公司近期似乎减少了其客户服务代理对大模型的使用。

例如，上周该公司在回应 Agentforce 技术问题的协助请求时，显示了博客文章链接列表，而非询问更多信息或讨论可能的问题。这种响应方式类似于企业多年来使用基础聊天机器人处理客户或网站访客问题的方式。

Salesforce 发言人表示，公司今年 “完善了主题结构，加强了防护措施，提高了检索质量，并调整响应以更具体、更符合上下文、更符合真实客户需求”。该发言人称，帮助代理解决的客户问题比以往任何时候都多，预计在 1 月底结束的财年中，已解决对话数量将增长 90%。

这一趋势反映了整个行业面临的挑战。本月早些时候，由企业 AI 初创公司 Sierra 提供支持的 Gap Inc.聊天机器人回答了关于成人用品和纳粹德国的问题，凸显了大模型偏离预期用途的普遍性问题。