7B大模型测试成绩超GPT

智东西3月11日消息，近日微软和俄亥俄州立大学的研究人员发布本文，提出了一种受到生物启发的可以增强大语言模型使用工具能力的方法，即模拟试错（STE）法，并将其开源。该方法协调了试错、想象和记忆三个关键机制。具体而言，STE通过大模型的想象力来模拟使用工具的一些合理场景，从而尝试适配不同的大模型，随后从新的反馈中，获得反馈不断优化。ToolBench实验结果显示，STE在上下文学习和微调设置下显著提高了大语言模型的工具学习能力，让Mistral-Instruct-7B实现了46.7%的性能提升，使其成绩超过了GPT-4。

一、无法兼顾准确性和灵活性，大语言模型调用工具遭遇两大难题寻找合适的工具一直以来都是训练大语言模型中关键一环。目前有关大语言模型的工具研究，主要集中在两个方面：为大语言模型增加一些新的工具，以及能够让大语言模型访问多个工具。这些研究方向一般采用两种常见的设置：1）上下文学习（ICL），通过给预训练模型展示一些API规范以及输入-输出工具使用的示例，从而训练大语言模型在对应场景下的能力。2）大语言模型对工具使用示例进行微调。一般来说，微调可以更有效且更高效地引导大语言模型的行为。但这两种设置在研究人员看来都有不足之处。上下文学习的方法确实能够保证大语言模型使用工具的灵活性，但是其精度却难以达到生产力水平。而微调的方法能够为大语言模型提供更高的准确性，但无法优化大语言模型本身使用工具能力。如果想要优化大语言模型本身使用工具能力，还需要更高的精度，以面对法律、金融等特殊场景的需求。同时，研究人员发现，哪怕是已经为了工具进行微调的GPT-4和开源大语言模型，在实际使用工具的过程中，也只有30%至60%的正确率。在此背景下，研究团队探索如何让大语言模型能够提升使用已训练过工具的能力。他们从生物系统中获取灵感，设立了一个新的模拟试错法（STE），从而改善大语言模型使用工具学习的能力。

二、模拟大语言模型使用工具的过程，设记忆机制反思结果研究团队对STE的研究分为了两个阶段：探索阶段和开发阶段。在探索阶段中，研究团队做了一系列测试性实验：合理设想了一个用户查询相关API信息的提问；尝试实现与API交互进行查询；反馈实验结果。在训练的过程中，研究人员通过设计记忆机制来提高记忆的质量。其中，STE的短期记忆以及长期记忆将分别用于提高大语言模型使用工具学习能力的深度和广度。

STE训练示意图如示意图所示，当大语言模型想要提升调用天气预报软件的API能力时，大语言模型会先想一些和设想一些有关天气的问题，然后和工具交互以完成用户查询，最后对结果进行自我反思试验。大语言模型将会利用这些短期实验记忆不断优化相关信息的精确性，并探索API的应用范围，并且逐步形成长期记忆。最后，短期和长期的记忆都将帮助大语言模型提升使用工具的能力。三、大语言模型使用工具能力大幅提升，Mistral-Instruct-7B性能超越GPT-4在经过一系列实验、验证之后，研究团队总结道：STE方法对队先测试了在没有采用STE方法前，不同参数规模的Llama、GPT、Mistral大语言模型使用API的能力。这时，80亿的GPT-4果最好，其API适配达到78.1%，正确率能达到60.8%。随后，研究团队又测试了通过STE方法后，不同参数规模的大语言模型使用API的能力。在该阶段，几乎不同参数规模的大语言模型均较之前有所提升。通过微调，Mistral-Instruct-7B实现了46.7%的性能提升，其API的匹配能力，以及正确使用工具的能力均超过了GPT-4。

---

多模态大模型区别

1、大模型是指采用深度学习等技术构建的具有巨大参数量的神经网络模型，例如BERT、GPT等。 这些模型具有较强的泛化能力和表征能力，可以用于自然语言处理、图像识别等领域。 2、多模态是指将多种不同类型的信息（如文字、图像、音频等）进行融合和处理的技术。 这些信息可以互相补充和增强，提高人工智能应用的效果和精度。 例如，图像和文字信息可以结合使用，提高图像检索的准确性。

什么是gpt？

答：GPT（Generative Pre-trained Transformer），是由OpenAI研发的一种大型预训练语言模型，是自然语言处理的强大基础。该模型的出现会给整个自然语言处理行业带来巨大的变化，但是这要取决于GPT的广泛应用，以及投资和发展的层次高低。

从技术的角度来看，GPT可以减少工程师们利用编程、人工智能等手段创造和思考原始产品、服务和信息所需的大量时间。本质上，GPT可以减少人工向机器重复传输数据和信息的需求，因此可以分担大量的重复、费时的工作，提高工作的效率和质量。

综上所述，GPT的出现有可能会给职业生涯领域带来一定程度的变化，但我们不能轻易地说这种变化会导致大量职业裁员和失业。虽然它可以减少工作量，但这只不过意味着职业人员需要改变和调整自己的知识，使其能够更好地应对新的技术，从而更好地发挥其价值，以满足新型技术的要求。GPT可以为新技术产生更多的机会，从而提供新的就业机会，而不是裁员和失业。

GPT模型是什么？它们真的会走进千家万户吗？

一款叫GPT的新软件火爆全球，GPT 是 OpenAI 开发的一种语言模型，它能够通过大量文本数据的预训练，掌握语言规律并生成文本。

GPT分别是三个单词(Generative 生成型 Pre-trained 预训练 Transformer 转换模型)，即生成式预训练模型。它的本质是通过预训练的方式对大量文本数据进行学习，从而达到精准预测和生成文本的目的。

当前GPT还只是应用在聊天领域的日常办公，未来很可能人工智会辐射至各行各业，从搜索引擎到办公软件、从社交媒体到游戏开发，AI的发展很快就会以病毒传播式的速度普及到我们的日常生活中。

最近一段时间，全世界知名的互联网企业全都开始涌入AI市场，资本的涌入和技术的迭代势必会让AI的发展急剧加速。

目前，GPT技术已经在多个领域得到了应用，包括：

1. 语言翻译：GPT可以将一种语言翻译成另一种语言，从而帮助人们跨越语言障碍。目前chatGPT支持95种语言，再加上人工智能学习，效果比传统翻译工具更优质！

2. 内容生成：GPT可以生成高质量的文章、新闻报道、小说等文本内容，为媒体和出版行业提供了巨大的帮助。

3. 语音识别：GPT也可以用于语音识别，其原理与文本生成类似。使用GPT进行语音识别的一个好处是可以进行语音到文本的转化，从而将语音转化为可观看的文本内容。

4. 智能客服：GPT可以帮助企业开发智能客服系统，为客户提供更快速、更准确的服务。

5. 自然语言理解：GPT可以帮助机器更好地理解人类语言，从而实现更智能的人机交互。

可能很多人都没有注意到，在过去的短短三十年内，人类已经经历了三次技术的迭代，每一次都是以不起眼的形式出现，并迅速颠覆了我们的日常生活方式：

第一次出现的互联网跨越了现实空间，将全世界的网友链接在一起；

第二次是智能手机，便携的移动端解放了我们的业余时间，让我们可以随时随地进行网络互动，而随着ChatGPT的发布；

第三次技术革命已经开始，而且速度比我们想象中快的多。

gpt的出现标志着人类生产力的又一巨大进步！未来，随着GPT技术的不断发展和完善，它将在更多领域得到应用，如智能教育、智能医疗、智能家居、数字营销等等。总之，GPT技术未来的趋势和运营场景非常广泛，并将持续改变人们的生产和生活方式。

---

---

相关标签： 36氪首发、 资讯、 新商业、 创业、 物联网、 自动驾驶、 房产、 资本市场、 上市、 投资、 科技、 汽车、 最前沿、 教育、 车联网、 新经济、 游戏、 职业、 黑科技、 无人驾驶、 网红经济、 最前线、 互联网、 股票、

上一篇：超声波指纹技术潜在普及下的生物识别挑战

下一篇：马斯克怒怼电力抵抗95%工作告别AGI五年内登