大模型实战 P47 一种解决Agent响应慢的方法
前面课程当中,给大家补充讲解了几个小的共性问题,但是还遗留了一个,处理起来相对比较麻烦的问题,就是Agent这块逻辑响应比较慢,有的问题甚至会到20秒以上。
关于这个问题,其实没有特别好的解决方案,因为Agent的设计思路,就是不断尝试各种工具,直到拿到模型认为最好的结果为止,所以调用大模型的次数,会比直接调用一个工具多很多,极端情况甚至会死循环。
所以,如果想用Agent的这个多次尝试的特性,就要付出响应慢的代价。这节课,要给大家介绍的这个提速方法,就是先用大模型判断该用什么工具,然后直接调用这个工具去获取结果。
代码示例
1、配置Prompt
内容不可见,请联系管理员开通权限。
2、大模型确定工具
内容不可见,请联系管理员开通权限。
3、调用工具
内容不可见,请联系管理员开通权限。
这个方案,响应速度会快很多,代价就是一次性的,没有思考和二次尝试纠错的过程,其实已经没有Agent核心思想了,并不是正面解决问题的主流方法,只供大家参考。
本文链接:http://www.ichenhua.cn/edu/note/729
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!