自然语言处理 - 如何分段处理超过ChatGPT最大token长度的问题？

Question

如何把超过 chatgpt 最大 token 长度的内容分段告诉 chatgpt，并能让 chatgpt 知道我要提供的内容已经发送完毕

Answer 1

这个问题无法解决，这是大语言模型的技术限制的。

可以换更大上下文的服务，比如 Claude，支持 100K；Google 最近发布的 Gemini 1.5 Pro，支持 1.2M。

另外，也可以考虑用 Embedding 检索，可以一定程度上解决这个问题。

Answer 2

分段处理超过ChatGPT最大token长度的问题，一种常见的方法是将长问题分成多个小段，每段都在ChatGPT的token长度限制之内。然后，将这些小段逐一输入ChatGPT，并在每个小段之后等待其响应。当ChatGPT请求更多的输入时，可以继续输入下一段。

要告诉ChatGPT您已经完成了输入，可以使用特定的提示语句。例如，当您完成输入最后一个分段时，可以告诉ChatGPT：“以上是全部问题内容，请处理。”这样，ChatGPT就知道您已经完成了输入，并可以开始处理整个问题。

请注意，以上是一种常用的方法，但并非唯一的解决方案。如果您在使用中遇到问题，可能需要查阅ChatGPT的文档或寻求更专业的帮助。