工具软件 第62页

Llemma： 数学 LLM 开源 LLM，用于在最多 200B 个数学文本标记上进行训练的数学LLM。Llemma 34B 的性能接近 Google 的 Minerva 62B，尽管其参数只有一半。使用Proof-Pile-2，一种混合科学论文、包含数学内容的网络数据和数学代码，从而产生Llemma。在MATH基准测试中，Llemma在等参数基础上优于所有...

将 LLM 当做操作系统 大型语言模型（LLM）在扩展对话和文档分析等任务中存在上下文窗口有限的局限性。为了解决这个问题，作者提出了虚拟上下文管理，这是一种受传统操作系统的分层存储系统启发的技术。他们引入了MemGPT系统，该系统管理不同的存储层次，在LLM有限的上下文窗口中提供扩展的上下文，并利用中断来管理其与用户之间的控制流。作者在两个领域评估了他们基于...

如何用语音和LLM交谈 文章讨论了使用大型语言模型（LLM）构建语音驱动的人工智能应用。作者解释了构建 LLM 应用程序所需的三个基本组件：语音到文本、文本到语音和 LLM 本身。他们还介绍了构建 LLM 应用程序时的一些注意事项，例如是在本地还是在云中运行语音到文本，以及是使用 web sockets 还是 WebRTC 进行音频传输。作者还提供了优化数据...

利用RAG开放邮件助手的实践 这篇文章介绍了利用检索增强生成（RAG）技术为一款电子邮件应用程序开发人工智能助理的过程。该团队的目标是建立一个能回答几乎所有问题的人工智能执行助理，并帮助用户将其电子邮件历史记录转化为可操作的知识库。人工智能助手分四个步骤回答问题：工具选择、工具数据检索、问题解答和后处理。最复杂的工具是人工智能搜索，它能让助手全面了解用户的电...

革命性的LLM微调方法 QLoRA 的工作原理 QLoRA 是一种微调方法，它结合了量化和低秩适配器 (LoRA)，能够在相对较小的高可用 GPU 上对拥有数十亿参数的庞大模型进行微调。量化降低了模型张量的数值精度，使模型更加紧凑，操作执行速度更快。LoRA 是一种旨在通过减少可训练参数数量来更有效地微调大型预训练语言模型的方法。LoRA 通过创建和更新原始...