即时新闻

ChatGPT确有缺陷

来源:羊城晚报     2023年02月26日        版次:A08    栏目:有一说一    作者:廖俊平

    

  

  廖俊平 广州学者

  

  上周的专栏文章提到我猜测ChatGPT给出不靠谱回答的两种可能,一是中文语言处理能力不足,二是以高度的幽默来对付胡编乱造的问题。但我接着再试了一下,又把我自己的这两种假设都否定了。

  我用英文提问:“What did Caddy and Versh do when they caught that great fish?”(Caddy和Versh在抓到那条大鱼之后做了些什么?)

  英文提问,不存在中文语言处理能力不足的问题。再看回答,答案出来得比中文对话时要快多了,回答的第一句是:“‘Caddy and Versh’ and ‘that great fish’ is a reference to a short story by Ernest Hemingway called ‘The Old Man and the Sea’”首先应该判断它是在努力认真回答,因为如果把“Caddy and Versh”去掉,整句话是完全正确的。尤其是:“that great fish”虽说是从海明威的《老人与海》中原样拷贝下来的文字,但这个表述并非十分特别,别的书里也完全有可能出现,可它能辨认出并且认定这就是《老人与海》里面的文字。不过它为啥就不能认出“Caddy and Versh”呢?Caddy和Versh是另一位诺奖得主福克纳的小说《喧哗与骚动》里面的主要人物,我之所以同时用了两个名字,是因为这样两个名字同时再出现在另外作品里面的概率是很小的,哪怕在百度搜索Caddy and Versh,结果都会跟《喧哗与骚动》联系起来(在谷歌搜索当然也是这样)。

  为了进一步判别,我又问了一个不那么“胡扯”的问题:“Why did Caddy play with Versh?”(Caddy为什么要跟Versh一起玩耍?)

  在《喧哗与骚动》里有不少Caddy和Versh一起玩耍的场景,这个问题应该比较好回答,可出乎意料,它似乎陷在前面对话的场景中了,回答说海明威的《老人与海》里面没有提到“Caddy and Versh”(这也算是对刚才回答错误的修正?)

  我看看能不能帮它跳出这个陷阱,再问:“Do you know anything about Caddy and Versh?”(关于Caddy和Versh,你知道些啥?),这绝对是送分题了,可它认真诚实地回答(译成中文):Caddy和Versh这两个词并不常见,可能是某本书或者某个电影里的人物,如果你能提供更多的相关场景,我或许能解答你的问题。

  结论:ChatGPT掌握的知识的确还很不够。