大模型实战 P43 LangSmith监控大模型应用程序
这节课,临时给大家补充一个知识点,叫做LangSmith。刚好昨天,我的账号通过了内测申请,先带大家来体验一下。需要提前说明的是,目前这个平台还在内测,大家注册完账号,可能需要等一段时间才能使用。
LangSmith是什么
LangSmith 是一个用于调试、测试、评估和监控大语言模型(LLM)应用程序的统一平台,由 LangChain 公司推出。
LangChain 的使命是让构建基于 LLM 的应用变得更简单。尽管用几行代码就可以搭建原型,但把原型进化成产品仍然困难。LangSmith 正在解决这个问题。
LangSmith 通过 5 大核心功能帮助开发团队:
调试:LangSmith 可以查看事件链中的每个步骤的模型输入输出。这可以方便地试验新链和新提示,找到问题根源,如意外结果、错误或延迟。同时可以查看延迟和 Token 使用情况来定位调用性能问题。
测试:LangSmith 可以跟踪数据样本或上传自定义数据集。然后可以针对数据集运行链和提示,手动检查输入输出或者自动化测试。许多团队发现手工检查有助建立对 LLM 交互的直观感受,从而提出更好的优化思路。
评估:LangSmith 无缝集成开源评估模块,支持规则评估和 LLM 自评估。LLM 辅助评估有潜力大幅降低成本。
监控:LangSmith 可以主动跟踪性能指标、模型链性能、调试问题、用户交互体验等,从而持续优化产品。
统一平台:LangSmith 整合上述功能,让团队无需组装各种工具组合,可以集中在核心应用创造上。
LangSmith 代表了 LLM 应用开发进入成熟阶段,开发团队不再需要自行搭建调试、测试、部署基础设施,可以完全专注在创造独特的产品。LangSmith 有望大幅降低构建高质量 LLM 应用的门槛。
操作流程
1、注册和申请体验 https://smith.langchain.com/
2、创建Project
3、Setup
内容不可见,请联系管理员开通权限。
4、监控请求过程
这节课内容比较简单,就是简单带大家体验了,LangSmith这个产品。大家有兴趣,也可以申请账号,用这个服务去监控自己的大模型应用。
本文链接:http://www.ichenhua.cn/edu/note/722
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!