5.5反馈优化模块


文档摘要

5.5 反馈优化模块 反馈优化模块需要使用到具备多模态能力的大语言模型,因此需要大家再申请一个具有图像理解能力的大模型(这里我们以gpt-4o演示),CAMEL中具体的支持列表如下: 在反馈优化中,我们所有的操作都是基于PDF的,虽然存在中间过程,但是对于用户来说是无感知的。具体而言,对于一个PDF,我们会先识别出用户做过标记圈画的部分,然后将其所在的整页转化为image的形式作为输出源的一部分交给有多模态理解能力的反馈优化Agent。 反馈优化Agent能够很好的理解用户的修改提示和意图,在HTML层面做出修正,重复之前的旅游信息检索和攻略生成模块,完成闭环,从而迭代式的优化旅游攻略,直到用户满意为止。

5.5 反馈优化模块

反馈优化模块需要使用到具备多模态能力的大语言模型,因此需要大家再申请一个具有图像理解能力的大模型(这里我们以gpt-4o演示),CAMEL中具体的支持列表如下:

在反馈优化中,我们所有的操作都是基于PDF的,虽然存在中间过程,但是对于用户来说是无感知的。具体而言,对于一个PDF,我们会先识别出用户做过标记圈画的部分,然后将其所在的整页转化为image的形式作为输出源的一部分交给有多模态理解能力的反馈优化Agent。

反馈优化Agent能够很好的理解用户的修改提示和意图,在HTML层面做出修正,重复之前的旅游信息检索和攻略生成模块,完成闭环,从而迭代式的优化旅游攻略,直到用户满意为止。

![](https://www.aiknowledge.cn/images/Handy Multi Agent/image-41.webp)

在线编辑PDF,调整需求:
需求一:红色部分帮我替换成中南海

需求二:文案帮我调整成小红书风格

![](https://www.aiknowledge.cn/images/Handy Multi Agent/a5021914f432051a35ff25757ce58b8.webp)

![](https://www.aiknowledge.cn/images/Handy Multi Agent/image-42.webp)

观察到文案风格确实更加活泼,且红圈部分正确修改成了中南海和配图也十分吻合。


作者与出处
原作者: Datawhale
来源:Datawhale
许可证:CC BY-NC-SA 4.0
整理: 灏天文库整理
由灏天文库结构化整理,提供目录导航、全文检索与在线阅读,便于系统化学习
发布者: 作者: Datawhale 转发
评论区 (0)
U