CatCoding

玩了一周 ChatGPT,谈谈我的想法

2022-12-10

Alberto Romero via MidjournyAlberto Romero via Midjourny

看到推特上无数人在晒 ChatGPT 的截图,我也忍不住注册了一个账号,到目前为止我快玩了一周了。刚开始我感觉非常震惊,三观受到冲击,经过这几天的多次调戏发现了些 ChatGPT 的缺陷,兴奋劲过去了之后谈谈我的一些看法。

首先 ChatGPT 的语言理解基本都正确,甚至会根据上下文的不同背景使用不同的措辞,输出的句子也是语法上没有什么问题,而且他还具备一些日常的理解能力:

ChatGPT 善于在你给的简短描述上自由发挥,比如下面这段我让它帮忙写个工作总结,可以看出 AI 在这三个方面做了合理的细化和扩展:

令人印象深刻的是它能围绕一个问题和我进行一定程度地互动:

但是,如果你继续深入地问他感受和观点,它就会陷入两种结果:从训练中积累出来地“理中客”,或说“我是 AI 没有具体感受”。

合理的使用方式

辅助编程

如果我们想查询一个简单的代码片段,ChatGPT 是比较适合的,甚至这种有确定答案的查询其结果比 Google 好。比如这种问题:

但我们并不能完全信任其结果。通常经典的编程问题,比如这种排序算法、不同编程语言里典型的文件操作、如何发起一个 HTTP 请求之类的问题,可以预见网络上这类可用于训练的资料非常多,所以其结果通常是对的。

但某些情况下,ChatGPT 生成的代码时有问题的,甚至是误导性的。比如我同事在日常工作中让他生成一个 PowerShell 连接 SQL 的代码,其结果中有一个伪造出来的参数。

另一个让我更震惊的是,某些情况下 ChatGPT 可以发现程序里的问题,比如我们把这个快排程序刻意加入两个 Bug,AI 居然都能理解并找出来:


这是和 Copilot 最大的区别,不止能帮忙补全代码,也能作为代码 Review 的辅助工具。在编程的时候使用这个工具需要你本身对这块足够了解,否则就会被坑。在学习编程时适当使用也会很不错。

辅助创作

ChatGPT 在根据一些条件去生成文字方面确实有一手,比如@piglei 的这个例子:

这是目前我所看到的类似工具中做得最好的,比之前那些智能写作工具有一个本质上的提高。ChatGPT 似乎收集了很多模板,在适当的时候可以套进去,比如你让他生成一个大学申请书,它就会按照一定的模板去套你的信息。

语言翻译

我真实投入了日常使用的是英语翻译,比如我这周有就用 ChatGPT 来生成了两份英语邮件回复。我对比了翻译的质量,这个结果比 Deep Translator 要好,我基本不用做特别多的修改,就能拿来直接用。英文文章翻译为中文同样结果不错。

缺陷

ChatGPT 会尽量回答问题,就像是一个活了几个世纪的老人,似乎什么知识都能知道一些,然后给出一个大概及格的回答。但有时候它是在瞎忽悠,如果你是外行就不一定发现他在忽悠。

关于事实的询问,它有时候会伪造出来一些看起来合理,但其实是错误的答案:

即使目前这个测试版本还存在很多明显的问题,我认为 ChatGPT 这次的刷屏标志着 AI 应用进入了一个新的阶段。这也让我们再次思考人类的智慧是否可以被替代,我们的工作是不是要丢了。

淘汰人类不一定会吧,但确实会让某些领域失去些魅力。几年前 AlphaGo 在围棋领域击败了最强大的人类选手,一直以来我们认为 AI 在围棋上是不能做到这点的,因为搜索空间太大了,而这确确实实发生了。在 DeepMind 的纪录片里,我看到 AlphaGo 团队的程序员们自己都觉得不可思议,称其本质和原理上是简单的,就是一个基于概率的搜索程序,言语中还透露着一些惋惜,棋艺这个我们人类自豪的智慧艺术竟然这样就被击败了。现在围棋已经被 AI 彻底玩腻,专业选手还得不断学习 AI 下棋的套路。柯洁现在似乎对围棋的乐趣没那么深了,我看到他的一个访谈里谈起围棋,透露着一种无奈和空虚感。

ChatGPT 目前因为所有人都在刷屏一些表现良好的例子,所以可能会被大家高估。我一个高中同学是心理咨询师,看着 AI 如此自然地回答问题有点担心自己失业,所以很想把玩一把。我写了个程序做了个接口转发给她玩,她稍微琢磨了一下,似乎又不担心自己丢工作了。

ChatGPT 强项在于写作,如果我们周围充斥着机器生成的文本,那纯手工写作会显得更有价值?
Paul Graham 最近在推上写到:

If AI turns mediocre writing containing no new ideas into a commodity, will that increase the “price” of good writing that does contain them? History offers some encouragement. Handmade things were appreciated more once it was no longer the default.

And in particular, handmade things were appreciated more partly because the consistent but mediocre quality of machine-made versions established a baseline to compare them to. Perhaps now we’ll compliment a piece of writing by saying “this couldn’t have been written by an AI.”

我赞同这个观点,比如最近我偶然看到 InfoQ 上的这篇文章,很明显是人肉在机器翻译的基础上随便做了点修改,读起来就是那么地别扭,而且因为编辑是外行,文章里面还有些重要的错误。而这就是趋势,我么将来会被越来越多的这样内容充斥。

统计学家I.J. Good于 1965 年提出技术奇点的必要条件──“智能爆炸”概念:

让我们将超级智能机器定义为一种能够远远超过任何人的所有智力活动的机器。如果说设计机器是这些智力活动的一种,那么超级智能机器肯定能够设计出更加优良的机器;

毫无疑问,随后必将出现一场“智能爆炸”,人类的智能会被远远抛在后面。因此,第一台超级智能机器是人类需要完成的最后一项发明,前提是这台机器足够听话,会告诉我们如何控制它。

这最后一项发明是否临近了?我乐观猜想二十一世纪应该还不能实现,程序员这工作应该在我退休之前还是安全的😂?不过我还是很乐于使用这些 AI 辅助工具,这些工具也将渐渐地彻底改变编程,短短半年的时间里 Copilot 已经成为我日常编程中比较依赖的东西。

你对 ChatGPT 有何感想?欢迎留言交流。

公号同步更新,欢迎关注👻