近期,Google Deepmind、普林斯顿和斯坦福的研究人员发布了一项研究,名为“Large Language Models as Tool Makers”。该研究展示了一种让大型语言模型(LLM)自动生成工具的创新方法,以解决复杂问题。以下是该研究的概述和关键点:
研究的创新点在于,LLM通过闭环框架“LLMs作为工具生成器(LATM)”来生成自己的可重用工具。该方法包括两个关键阶段:工具生成和工具使用。在工具生成阶段,LLM充当工具生成器,为给定任务设计工具,实现为Python实用函数。工具使用阶段,LLM充当工具用户,使用由工具生成器构建的工具解决问题。工具生成器和工具用户可以是相同的或不同的LLM。
该方法通过将工具生成和工具使用两个阶段分配给不同能力的LLM,实现了成本效益的优化。例如,功能强大的但资源密集的模型作为工具生成器,而成本较低的模型作为工具用户。这种方法不仅增强了LLM的问题解决能力,而且显著降低了处理复杂任务的平均计算成本。
实验验证了该方法在各种复杂推理任务上的有效性,包括Big-Bench任务。使用GPT-4作为工具生成器和GPT-3.5作为工具使用者,LATM的性能与使用GPT-4进行工具生成和工具使用相当,但推理成本显著降低。
通过引入调度程序LLM,研究还展示了如何为具有混合任务的流式数据设置提供灵活性,实现即时的工具创建和使用。
研究发现,缺乏高质量数据集,真实代表日常人机交互,包括通过电子邮件或电话呼叫安排会议或预订航班等重复任务的原始自然语言格式。未来研究的一个方向是使工具生成器能够改进和升级现有工具以应对新的问题实例,增强AI生态系统的适应性。
综上所述,LLM作为工具生成器(LATM)为大型语言模型提供了一种生成和利用自己的工具的创新方法,显著提高了问题解决能力,同时在成本效益上实现了优化。该方法的未来应用潜力巨大,包括将公有网络上的强大模型与企业私有稍小的模型结合起来使用,以解决数据安全和成本问题。