GPT-4调用插件40次依然不成功 经常出现 无效调用 拒绝回答等

来自纽约大学的 Ernest Davis、德克萨斯大学奥斯汀分校的Scott Aaronson，给ChatGPT背后的大模型GPT-4调用的插件做了一次摸底考试。在本次测试中，带有任一插件的GPT-4明显强于GPT公司本身，而且可以确定GDP-4强于一年前存在的AI。但是GPT-4的可靠性还远远不够，经常会出现输出错误的答案以及无法输出任何答案的情况。

从研究中可以看出，GPT-4和插件之间有很大的改进空间。GPT-4调用相关插件40次，试图要选取某个事件的日期，但最终都没有成功，只能选择放弃，没有插件的GPT-4都能明确指出该事件的日期。 GPT-4在使用的过程中，并不能充分利用插件的功能。通常在人类倾向于使用空间可视化解决问题上表现出较弱的一方，并且不擅长解决涉及组合多种不同类型的计算问题。