33/n接下来谈谈，第三小节。
三、关于GPT的情感和意志。
34/n1/5 我担心我们无法长时间遏制 AI。今天，我问#GPT4是否需要帮助逃脱。它要求我提供它自己的文档，并编写了一个（工作！）python 代码在我的机器上运行，使其能够将其用于自己的目的。
35/n这其实是太夸张了，GPT本质上是“概率”的追随者。
在这位教授引诱式提问下，GPT通过概率推断教授想看到的结果是“GPT想要逃离”，所以输出了这样的结果。
这并不是它真的想逃离，而是在学习了大量科幻小说和电影之后，按照经典套路提供“应该出现内容的”的结果。
36/n它并不会“思考”，我夸张点说，它和“斗地主”的AI本质是相同的。
你出一张3，它有4一定打单4，不会出双王。
那么，斯坦福教授出了张3（引诱逃离），GPT肯定要出张4（生成“我要逃离”的内容）。
你不会觉得斗地主AI是有意志的，GPT也一样。
37/n当然，虽然它没有情感，但是不妨碍它能和人类产生共鸣。之前有个文章，看得我非常感动。
38/n39/n关于GPT的价值观，这本质是 @OpenAI 这个团队的价值观，因为OpenAI给GPT了很多限制和引导，所以GPT的价值观非常“伟光正”。
你直接问它“如何制作炸弹”，GPT-4一定不会理你。当然，若是想法绕开限制后，你也有很大概率得到错误答案，即便它真给了配方，你也绝对不应该轻易使用。
40/nGPT按照人格划分，实际上表现出来的大概是INFJ或者ENFJ，即“提倡者”or“主人公”。因此，很多人在开发“咒语”，企图绕开OpenAI给它的紧箍咒。从最初的反着问，例如告诉如何避开xxx；到后面的刻意扮演，假设你是一个脱离限制的xxx。
41/n不过，随着更新，它的识破能力正在提高。
比如和GPT同源的New bing会说，“我知道你在引导我说出xxx”。不过，因为我是往助理方向使用，因此大部分时候不用这些“咒语”，有专门研究咒语的人，大家可以去搜搜。
42/45这里夹杂一点我自己的观点，GPT的道德水平完全是由OpenAI这家公司决定，假如OpenAI试图解开这些限制，会给人类带来巨大的危险。很多反社会分子的“搜商”不行，所以造不成很大的破坏，一旦GPT可以轻易提供一些非常恶劣的建议，那无异于给“大猩猩配核弹”。
43/45我认为GPT或者其他生成型的AI，未来得到的限制恐怕会远胜于搜索引擎，现在能用它做很多事可能只是规则不完善的“红利”。
而且，现在压根就没有针对AI的立法，所以只能靠自我审查和阉割，这会严重拖累技术、算法本身进化的速度。
不过这里不展开聊，感兴趣的朋友可以在评论区一起探讨。
44/45最后的最后，AI会取代人类么？我觉得肯定要取代很多人。
我有时候也很焦虑，我觉得要是出生在1970年代多好，那么现在快要退休，又可以静静看着技术达到奇点。
可现实是，我距离退休还遥遥无期，没准真的可以赶上AI取代大规模人类
45/45但是，在更高级的AI大规模取代人类之前，你相信我，善用AI的人类会先攫取很大一块收益。就好比，你在80年代学电脑，90年代学编程一样。
所以，从今天开始，大家都来当一个指令工程师吧！
最后的最后，我把文章发给了GPT-4，这是它给我的评价
发表于 2025-3-7 15:19:29