用代码 · 赚美元

行业里从来不缺代码工人，缺的永远是能将代码转化为经济价值的人或组织。

—— 阑夕

战略回答了战术和运营背后的“怎么做”的“什么”和“为什么”的问题。

我们有些主观的看法，比如：“在PMF之前不要使用GPU”和“专注于系统而不是模型”，以帮助团队找出在哪里分配有限资源。我们还建议迭代到优秀产品的路线图，这一系列最终经验教训回答了以下问题：

1. 建造 vs 购买：何时应该训练自己的模型，何时应该利用现有的模型API？答案总是“这取决于某某”，所以我们分享它到底取决于什么？
2. 迭代至伟大：如何打造不断使用最新模型的持久竞争优势？我们讨论围绕模型构建强大系统的重要性，并专注于提供令人难忘、有吸引力的体验。
3. 人工与AI：如何有效地将LLMs集成到人类工作流程中，以最大限度地提高生产力和幸福感？我们强调构建支持和增强人类能力的AI工具的重要性，而不是试图完全取代它们。
4. 入门指南：团队着手构建LLM产品的基本步骤是什么？我们概述了一个从快速工程、评估和数据收集开始的基本操作手册。
5. 低成本认知的未来：成本迅速降低和功能增强的LLMs将如何塑造AI产品的未来？我们审视历史趋势并介绍一种简单方法来估计某些产品何时可能变得经济可行。
6. 从演示到产品：从引人注目的演示到可靠、可扩展的产品需要什么？我们强调需要严格的工程、测试和改进来弥合原型和生产之间的差距。

要回答上面的困难问题，现在让我们一步一步地思考..

运营一个LLM应用程序会引发一些熟悉的问题，这些问题通常与运营传统软件类似，但往往也有一些新颖的变化让事情变得有趣，所以LLM应用程序也会引发全新的问题。我们将这些问题及答案分为四个部分：数据、模型、产品和人员。

关于数据，我们建议抛出的问题：

• 你应该如何以及多久审查LLM的输入和输出？
• 如何衡量和减少测试-生产偏差？

关于模型，我们建议抛出的问题：

• 如何将语言模型整合到堆栈的其余部分？
• 你应该如何考虑模型的版本控制以及在模型和版本之间进行迁移？

关于产品，我们建议抛出的问题：

• 设计应该在应用开发过程中何时参与，为什么要“尽早参与”？
• 如何设计具有丰富人机反馈的用户体验？
• 如何优先考虑众多冲突的需求？
• 如何校准产品风险？

关于人员，我们建议抛出的问题：

• 你应该雇佣谁来构建一个成功的LLM应用程序，以及何时雇佣他们？
• 你如何培养正确的文化，即实验文化？
• 你应该如何利用新兴的LLM应用程序来构建自己的LLM应用程序？
• 流程和工具哪个更关键？

我们抛出的这些问题为接下来的内容铺平了道路。

在过去的一年里，LLMs 已经变得“足够好” 用于实际应用。LLMs 的改进速度，加上社交媒体上的一系列演示，将推动到 2025 年 AI 领域的预计 2000 亿美元的投资。

本系列文章分为三部曲，分别是战术、运营和战略，目标是成为一本实用指南，教你如何围绕LLMs打造成功的产品，作者们从自己的经验中汲取灵感，并指出行业中的例子。一直在实践中摸爬滚打，吸取宝贵的经验教训，但还是走了不少弯路，这些都可以为AI产品人提供有价值的参考。

本篇内容为战术篇，主要介绍Prompting应用技巧、RAG方法、AI产品工作流以及评估和检测的最佳实践。

一个简单但有效的系统，用于审查现在的独角兽，以生成有关潜在客户的想法、他们需要什么以及他们会购买什么的见解。

这是一个简单而有效的过程，通过采访（潜在）客户来积累知识，我在过去 15 年中多次雇用过这些客户。

这个系统导致拒绝了一些创业想法，选择了WP Engine的想法，并在早期选择了正确的功能，然后导致了高速增长，这导致了一家拥有三十多个团队的独角兽公司，他们自己做客户开发。