过去一年建设AI产品实战经验（战略篇）

战略

我们之前分享了AI产品的战术，经验告诉我们战术是为实现特定目标而采取的具体行动。

我们还分享了对AI产品运营的看法，为支持实现目标而制定的更高层次的流程。

但这些目标是从哪里来的呢？这就是战略的领域。

战略回答了战术和运营背后的“怎么做”的“什么”和“为什么”的问题。

我们有些主观的看法，比如：“在PMF之前不要使用GPU”和“专注于系统而不是模型”，以帮助团队找出在哪里分配有限资源。我们还建议迭代到优秀产品的路线图，这一系列最终经验教训回答了以下问题：

1. 建造 vs 购买：何时应该训练自己的模型，何时应该利用现有的模型API？答案总是“这取决于某某”，所以我们分享它到底取决于什么？
2. 迭代至伟大：如何打造不断使用最新模型的持久竞争优势？我们讨论围绕模型构建强大系统的重要性，并专注于提供令人难忘、有吸引力的体验。
3. 人工与AI：如何有效地将LLMs集成到人类工作流程中，以最大限度地提高生产力和幸福感？我们强调构建支持和增强人类能力的AI工具的重要性，而不是试图完全取代它们。
4. 入门指南：团队着手构建LLM产品的基本步骤是什么？我们概述了一个从快速工程、评估和数据收集开始的基本操作手册。
5. 低成本认知的未来：成本迅速降低和功能增强的LLMs将如何塑造AI产品的未来？我们审视历史趋势并介绍一种简单方法来估计某些产品何时可能变得经济可行。
6. 从演示到产品：从引人注目的演示到可靠、可扩展的产品需要什么？我们强调需要严格的工程、测试和改进来弥合原型和生产之间的差距。

要回答上面的困难问题，现在让我们一步一步地思考..

战略：在不被LLMs超越的情况下建设

成功的产品需要深思熟虑的规划和严格的优先排序，而不是无休止的原型制作或追随最新的模型发布或趋势。在这最后一节中，我们思考构建优秀AI产品的战略考虑，还会审视团队将面临的关键折衷，比如：何时自行开发、何时购买，并提出早期应用开发策略的“Playbook”。

在PMF之前没有GPU

想要要成为伟大产品，不仅仅是套壳别人的API，但在相反方向上犯的错误可能会更加昂贵。过去一年中VC也投入了大量资金，包括一个令人瞠目结舌的60亿美元的A轮融资，用于训练和定制模型，但缺乏明确的产品愿景或目标市场。在本节中，我们将解释为什么立即选择训练自己的模型是一个错误，并考虑自托管的作用。

从头开始训练没有意义

对于大多数组织来说，从头开始预训练一个LLM是一种不切实际的分散注意力的做法。

尽管机器学习基础设施的开发和维护看起来很令人兴奋，似乎每家公司都在做，但这需要大量资源。资源包括收集数据、训练和评估模型以及部署它们，如果你仍在PMF阶段，这些投入将分散资源，使你无法专注于开发核心产品。即使你拥有计算资源、数据和技术能力，预训练的LLM也可能在几个月内过时。

考虑一下BloombergGPT的情况，这是一个专门用于金融任务的模型，该模型在363B个标记上进行了预训练，需要AI工程部门的四名全职员工和ML产品和研究部门的五名全职员工付出巨大努力。尽管如此，它最终还是在金融任务上被 gpt-3.5-turbo 和 gpt-4 超越。

这个故事告诉我们，对于大多数实际应用来说，即使在特定领域的数据上，从头开始预训练一个LLM也不是最佳资源利用方式。相反，团队最好是对适合其特定需求的最强开源模型进行微调。

当然也有例外情况，比如Replit的代码模型，专门针对代码生成和理解进行训练，通过预训练Replit能够胜过其他大型模型，如：CodeLlama7b，但随着其他越来越强大的模型的发布，保持实用性需要持续投资。

在未证明有必要前，不要调整细节

对于大多数组织来说，微调更多地是受到FOMO的驱动，而不是清晰的战略思维。

组织总是过早微调，试图打破“只是套壳API”的指控。实际微调是一种重量工作，只有在收集了足够多例子并让你相信其他方法不够时才能部署。

一年前，许多团队告诉我们对微调感到兴奋，但很少有团队找到了PMF，多数团队后悔当时的决定。如果你要进行微调，最好确信自己已经准备好一次又一次地进行，因为基础模型在不断改进 —— 请参见下面的“模型不是产品”和“构建LLMOps”。

正确的选择是何时微调？如果使用情况需要的数据，不是主要用于训练现有模型的开放网络规模数据集中，并且你已经构建了证明现有模型不足的MVP。但要注意：如果优质的训练数据对模型构建者不容易获得，那么你又能从哪里获取它？

最终，LLM驱动的应用程序不是一个科学展示项目，对它们的投资应该与它们对你企业战略目标和竞争差异化的贡献相称。

从推理API开始，但不要害怕自行托管

因为LLM有API，初创公司现在更容易采用和整合语言建模能力，而无需从头开始训练自己的模型。像Anthropic和OpenAI这样的提供商提供通用API，只需几行代码就可以为你的产品增加智能，采用这些服务可以减少花费的精力，从而专注于为客户创造价值，这样可以更快地验证想法并朝着PMF方向迭代。

就像数据库一样，托管服务并不适合所有情况，特别是在规模和要求增加的情况下。事实上自行托管可能是在受监管行业（如：医疗保健和金融）或合同义务或保密要求要求的情况下使用模型而不将机密/私人数据