一家名为 Patronus AI 的初创公司的商讨东说念主员发现，大型谈话模子在分析好意思国证券交游委员会(SEC)备案文献时常常无法正确回报问题。即使是推崇最好的东说念主工智能模子设立 OpenAI 的GPT-4-Turbo，当给以简直通盘备案文献的阅读才能和联系问题时，仅有79% 的问题回报正确。Patronus AI 的独创东说念主告诉 CNBC，这些所谓的大型谈话模子偶然会拒却回报问题，或者会 “产生幻觉”贵阳市满意度调查公司，出现备案文献中不存在的数字和事实。

　　Patronus AI 的皆集独创东说念主 Anand Kannappan 暗示:“这种性能水平皆备不成摄取。要思兑现自动化和插足分娩使用，性能必须更高。” 这些发现突显了 AI 模子在大公司中诈欺的一些挑战，尤其是在金融等受监管行业。这些公司但愿将先进时期诈欺于客户处事或商讨，但 AI 模子濒临一些贫窭。

　　快速索求进军数字并对财务求教进行分析被觉得是聊天机器东说念主最有出路的诈欺之一，自客岁底发布 ChatGPT 以来一直备受关心。SEC 备案文献中充满着进军的数据，淌若一个机器东说念主梗概准确地抽象这些文献或快速回报联系问题，它可以使用户在竞争蛮横的金融行业中占据上风。

　　在往时的一年里，彭博社斥地了我方的金融数据 AI 模子，商学院评释商讨了 ChatGPT 是否可以判辨财经头条新闻，摩根大通正在斥地一个基于 AI 的自动投资器具。确认 CNBC 之前的报说念，生成式 AI 瞻望每年可以为银行业带来数万亿好意思元的收益。

　　然则，GPT 进入该行业并不告成。微软初度推出使用 OpenAI 的 GPT 的必应聊天时，其主要示例之一是使用聊天机器东说念主快速概述盈利新闻稿。不雅察东说念主员很快就结实到微软示例中的数字是舛误的，一些数字皆备是编造的。

　　Patronus AI 的皆集独创东说念主暗示，将大型谈话模子诈欺于实质居品的挑战之一是，它们曲直笃定性的，不成保证每次给出调换的输出。这意味着公司需要进行更严格的测试，以确保它们的模子开动正确，不会偏离主题，并提供可靠的成果。

　　该公司的独创东说念主在 Facebook 的母公司 Meta 公司相识，他们在该公司从事与领会模子生成谜底的问题以及使其愈加 “负背负” 方面的 AI 问题。他们树立了 Patronus AI，该公司已从 Lightspeed Venture Partners 获取种子资金，旨在通过软件兑现对大型谈话模子的自动化测试，以便公司可以确保其 AI 机器东说念主不会以离题或舛误的谜底令客户或职工感到惊诧。

　　Patronus AI 死力于编写一套由主要上市公司的 SEC 备案文献中索求的10，000多个问题和谜底，该数据集被称为 FinanceBench。数据集包括正确谜底，以及在职何给定备案文献中准确查找谜底的位置。并非所有这个词谜底都可以顺利从文本中索求，有些问题需要幽微的数学或推理。

　　Patronus AI 测试了四个谈话模子:OpenAI 的 GPT-4和 GPT-4-Turbo，Anthropic 的 Claude2和 Meta 的 Llama2，使用该公司生成的150个问题的子集进行测试。他们还测试了不同的设立和领导神志，举例将 OpenAI 模子在问题中给出与谜底联系果露出源文本的 “Oracle” 花式。在其他测试中，模子被奉告底层 SEC 文献存储的位置，关于我们或者在领导中包含 “长崎岖文”，即简直无缺的 SEC 备案文献与问题沿途提供。

　　GPT-4-Turbo 在该公司的 “闭卷” 测试中失败，该测试不允许其造访任何 SEC 源文献。它在被问到的150个问题中，未能回报88% 的问题，只好14次给出了正确谜底。当获取对底层备案文献的造访权限时，其性能有了显耀改善。在 “Oracle” 花式下，GPT-4-Turbo 在85% 的情况下正确回报问题，但仍然在15% 的情况下给出了舛误谜底。然则，这种测试神志并不施行，因为它需要东说念主工输入以找到备案文献中确切的联系位置，而这恰是许多东说念主但愿谈话模子梗概惩处的问题。

　　Meta 斥地的开源 AI 模子 Llama2在获取多样底层文献的造访权限时，产生了一些最灾祸的 “幻觉”，舛误回报的比例高达70%，仅有19% 的回报正确。Anthropic 的 Claude2在提供 “长崎岖文” 的情况下推崇素雅，可以回报75% 的问题，21% 的回报舛误，仅有3% 的问题未能回报。GPT-4-Turbo 在长崎岖文测试中推崇也可以，79% 的问题回报正确，17% 的回报舛误。

　　在进行测试后，Patronus AI 的独创东说念主对模子的推崇感到惊诧，即使在领导谜底场地位置的情况下，它们的推崇仍然很差。“即使谜底在崎岖文中，模子拒却回报的频率也至极高，而东说念主类是可以回报的。”Qian 说说念。然则，即使模子推崇素雅，仍然不够好，Patronus AI 发现。“即使模子在20次中回报舛误1次，这个舛误率关于受监管的行业来说仍然不可摄取。”Qian 说说念。

【报告格式】: 印刷版 / 电子版(Word+PDF)

　　然则，Patronus AI 的独创东说念主觉得，像 GPT 这么的谈话模子在金融行业中有雄壮的后劲，不管是分析师一经投资者，淌若 AI 时期连接变嫌。“咱们如实觉得成果可能至极有但愿。”Kannappan 暗示，“跟着时分的推移，模子将会变得更好。咱们至极有但愿在遥远内，好多责任可以兑现自动化。但是当今贵阳市满意度调查公司，你确信需要至少一个东说念主参与来撑抓和辅导你的责任经由。”