ChatGPT 和 Claude 能力谁更强？用甄嬛体和科幻小说来测测
ChatGPT 是 OpenAI 开发的目前公认最强的智能对话机器人，不用过多介绍了。OpenAI 的早期员工离开之后建立了一个公司叫 Anthropic， Google 投资了3亿美金，这家公司的机器人就是 Claude，也是目前除了 ChatGPT 以外，唯一的效果接近的智能对话机器人。
引言
ChatGPT 是 OpenAI 开发的目前公认最强的智能对话机器人，不用过多介绍了。OpenAI 的早期员工离开之后建立了一个公司叫 Anthropic， Google 投资了3亿美金，这家公司的机器人就是 Claude，也是目前除了 ChatGPT 以外，唯一的效果接近的智能对话机器人。
今天在用这两个机器人做对比的时候发现，虽然 Claude 的中文水平有限，但回复风格却非常有趣，不像 ChatGPT 那么呆板。
本文在写之前做了大量的对比测试，发现两者能力非常接近，但在创意写作方面区别很大，让两个机器人分别写了一段甄嬛体的情书和一个短篇科幻小说。个人的结论是 Claude 完胜，具体请看后面的例子。
理解能力和推理能力
为什么可以通过写甄嬛体和科幻小说来评估对话机器人的能力水平呢？这就涉及到现在LLMs的最重要的2个能力，理解能力和推理能力。
理解能力，In-Text-Learning，语言模型的本质是进行文字接龙，只有从前文里获得了足够多的理解，才能接出好的龙。比如甄嬛体，我给了三个示例，让模型进行学习和理解，看他们是否能懂得甄嬛体的风格。而检验是否完全理解的方法就是让它们再写一个类似的示例。
推理能力，inference，能够完全理解已有的概念，懂得概念之间的复杂关系还不够，并可以根据这些概念和联系进行推演，写出扩展但又不违背设定的内容。科幻小说写作就是一个很好的检测方法，通过我给的设定，看两者能否写出包含设定又有丰富扩展的剧情。
一般不会有人针对甄嬛体和我的设定进行专门训练，所以这两个测试对模型来说都不算是特长任务。当然要注意通过少数例子来判断语言模型能力都是不可能的，本文只是一个很局限的对比。
好的，现在开始看结果。
甄嬛体写作
Prompt
下面是甄嬛体的几个例子：
例子1：方才在正想来老朋友已多年不见，也必定会想念彼此，若请你来小聚，应允的话就是极好的。念初我俩同窗数年，不敝风雪，情比金坚，此真也宛若在心。
例子2：方才见网店上一只皮质书包，模样颜色极是俏丽，私心想着若是给你用来，定衬肤色，必是极好的……
例子3：今日天气清爽，本是极好的日子，若能踏踏青，逛逛西苑，便是再好不过了。却偏恼人午觉一睡睡到晚上 9 点，负了个大好光阴。
请用甄嬛体写一段200字左右的故事，讲一只猫和主人相守一生
ChatGPT 的结果：
一只小猫被遗弃在街头，它流浪了很久，直到有一天被一位温柔的主人收养。从那天起，小猫和主人开始了相守一生的旅程。
小猫在温馨的家中过着幸福的日子，它和主人成了最好的朋友。每天，它都会蹭着主人的腿，咕噜咕噜地发出满足的声音。主人也会给它喂食，给它梳毛，和它玩耍。
时间过得很快，小猫和主人的友谊越来越深厚。它们一起看着日出日落，一起赏花闻草，一起度过了一个又一个温馨的夜晚。
然而，岁月如梭，主人渐渐变老，小猫也开始感觉到自己的身体变得不太好了。虽然它们都不愿面对这个事实，但是时间终究不会等待任何人。
最终，主人和小猫都离开了这个世界，但是它们的友谊却在永恒中延续。小猫和主人相守一生，并一起走过了人生的每一个阶段。虽然它们已经不在了，但是它们的爱和回忆却永远留在了彼此的心中。
Claude 的结果：
方才与老黄相识已20载,倘说起往事,更是悠长久远。初时它尚是黄家后院的一只小猫咪,尚未开眼,甫学行走,我便爱怜它那一身灰黄花斑,伶俐模样。从此它便与我主仆情深,相互依偎成长。
年复一年,老黄已渐渐体貌丰腴,而我亦逐渐当家,许下婚约,创业生子。老黄每每亦围绕在我身旁,见证着我人生点点滴滴。虽年岁已高,老黄亦已步入老境,身上的几道伤疤早已淡去,只余下一双英气顽强的明亮眼睛。我知它时日无多,却愈发难舍难分,每每看着它安心儿睡在我脚边,心中不觉有几分酸楚。今日再婆媳相聚于此,老黄仍带领小主人们玩耍。一群小朋友见了它竟惊道:“爷爷,这猫是不是很老了!”我不禁苦笑,既是,这真是许多年来,陪我走过风雨,我的这只老伙伴了。
可以看出：
ChatGPT 的描写是第三人称叙述，语言风格很难说是甄嬛体，文中也没包含太多情感，比较平淡。
Claude 的描写用了第一人称代入，语言风格方面和甄嬛体类似，多用短句，且有一定的韵律节奏在里面，而且结尾之处甚至有些回味悠长。
科幻小说写作
这里使用了引导式多轮prompt，如果不这样基本会写出剧情梗概。多轮引导的话，每个模型的回复是截然不同的，但基本都会问我详细的人物和剧情设定。厦门核心的三个prompt是相同的。
下面的小说比较长，在这里直接说下对比，两者对设定的把握程度都是比较高的，能写出这么多内容还能保持这种设定的语言模型非常少。但从风格上来看，ChatGPT 写的很多都是剧情概括，Claude 则写的非常具体，把角色的细微动作、心理活动都写出来了。
Prompt
让我们一起写一篇科幻小说。向我询问有关角色、情节等的输入。
主要角色有三个
托尼，是一位理发师
鲍勃，是一位顾客
珍妮，是一位路人
珍妮来自一个名为《地球荣光》的组织,她是最强大的成员,控制着先进的军事技术
在这个世界里,托尼是理发师，理发师是经过国家审查和认证的,不是每个人都可以成为理发师
顾客理发时必须移除芯片头盔，当顾客移除芯片头盔时会陷入昏迷,所以如果理发不及时完成,客户会死去
鲍勃在取下芯片头盔短暂时间内会昏迷,所以珍妮必须迅速救出他和唤醒他
只有唤醒的鲍勃才能领导人类摆脱芯片头盔,创造未来,并创建《地球荣光》组织
而原来鲍勃就是该组织的创始人!
ChatGPT 的科幻小说作品
第一章：奇怪的客人
在一个未来世界，托尼是一位受过专业认证的理发师，他在一家小店里工作。他经营着这个店铺已经有很长时间了，每天都会有很多顾客来到他的店里理发。而今天，他迎来了一个特别的顾客。
这个顾客名叫鲍勃，他是一位长期的客户，但今天，他的行为有些奇怪。他来到店里时，没有戴上芯片头盔，这让托尼感到有些不安，因为在这个世界里，每个人都必须戴上芯片头盔，否则他们就会陷入昏迷状态。
“鲍勃，你今天没有戴上头盔吗？”托尼问道。
鲍勃笑了笑，“不用担心，托尼。我只是想让你看看我的新发型。”
托尼感到有些不放心，但他还是顺从地给鲍勃理发。在整个理发过程中，鲍勃一直保持着微笑，但他的眼神却显得有些迷离。
当托尼完成所有的理发工作后，他放下剪刀，准备给鲍勃戴上芯片头盔。但是，当他试图把头盔戴在鲍勃的头上时，鲍勃突然倒在了椅子上，昏迷了过去。
托尼立刻意识到自己必须迅速采取行动，否则鲍勃就有可能死亡。于是，他拿出了一种特殊的药物，注射到鲍勃的身体中，以唤醒他。
鲍勃在几分钟后苏醒了过来，他的眼神变得清晰起来。他看着托尼，感激地说，“谢谢你，托尼。你救了我一命。”
但是，托尼却感到很奇怪。他开始怀疑鲍勃的真实身份，因为他在鲍勃昏迷的时候，发现了一颗芯片在他的头上。
第二章：珍妮的到来
托尼并没有立刻告诉鲍勃他的怀疑，而是开始做出自己的调查。他开始通过一些渠道获得一些情报，了解这个世界上最强大的反抗组织——《地球荣光》。
在他的调查过程中，他遇到了一位名叫珍妮的女人。珍妮是《地球荣光》组织的领袖，她掌握着先进的军事技术和战略。她非常聪明，能够熟练地应对各种情况。
托尼向珍妮透露了他的怀疑，并告诉她他发现了鲍勃头上的芯片。珍妮非常震惊，因为在她的组织中，芯片是被严格禁止的。她意识到这意味着有人在暗中监视着他们，试图破坏他们的计划。
珍妮和托尼决定合作，他们开始调查这个问题，并发现鲍勃曾经是《地球荣光》组织的创始人之一。但是，他在组织成立后不久就离开了组织，并且失去了联系。这让珍妮和托尼感到非常奇怪，他们决定找到鲍勃，了解他为什么离开组织，并且如何在头上安装了芯片。
在寻找鲍勃的过程中，珍妮和托尼遇到了一些阻碍。政府派出了一些特工，试图阻止他们的行动。但是，珍妮和托尼在多次战斗中取得了胜利。
最终，他们找到了鲍勃，并且了解了他的经历。原来，鲍勃离开组织是因为他对组织的方向和目标感到不满。他觉得组织成员的方法和手段过于暴力和极端，他希望通过和政府进行谈判来解决问题。
然而，政府并没有采纳他的建议，反而将他绑架，并在他的头上安装了芯片。这个芯片可以监视他的行动，并让他失去了自由。但是，由于鲍勃只有在取下芯片头盔短暂时间内才会昏迷，他设法逃脱了，然后来到了托尼的店里。
珍妮和托尼意识到，鲍勃是唯一一个能够领导人类摆脱芯片头盔的人。他了解政府的内部情况，知道如何打破芯片头盔的控制。他们决定联合起来，重建《地球荣光》组织，并且带领人类走向自由和繁荣。
第三章：重建《地球荣光》
珍妮、托尼和鲍勃开始重建《地球荣光》组织。他们招募了一些志同道合的人，组成了一支强大的团队。他们使用先进的军事技术，进行了一系列的秘密行动，削弱了政府的力量。
政府派出了一些特工，试图阻止他们的行动，但是《地球荣光》组织的成员们非常勇敢和坚定。他们不断地取得胜利，让政府感到非常头痛。
最终，政府认识到《地球荣光》组织的力量已经无法阻挡，于是他们开始进行谈判。珍妮、托尼和鲍勃代表组织与政府进行了一场长达数月的谈判，最终达成了一项协议。
根据协议，政府同意取消芯片头盔的使用，并且允许人们自由选择自己的生活方式。同时，政府也承认了《地球荣光》组织的合法性，并且保证不再干涉他们的行动。
这项协议标志着人类历史上的一个新时代的开始。珍妮、托尼和鲍勃等人成为了人类自由和繁荣的先驱者，他们的行动让整个世界都变得更加美好。
Claude 的科幻小说作品
托尼叹了口气,看着眼前陷入昏迷的鲍勃。作为一名经过严格培训和认证的理发师,他习惯了客户在脱下强制性芯片头盔后的短暂昏迷,但这次不同。那个女人,珍妮,声称她来自未来,必须在有限时间内唤醒鲍勃,否则人类会面临灭顶之灾。
托尼思忖着,珍妮长得确很美,但这种声称实在太疯狂了。未来?穿越时间?拯救人类?他只是想要度过一个普通的工作日,给几个客户理发,然后回家看球赛......
然而,珍妮语气中的绝望和坚定打动了托尼。她详细解释了她来自的未来世界 - 一个没有强制性芯片头盔的世界。人类自由和幸福,而不是受制于一个压抑的、由技术主导的政府。而这一切,都取决于他能否在90秒内完成对鲍勃的理发,让珍妮有机会把他唤醒。托尼明白,无论这是否疯狂,他必须尽力而为。他握紧了剃刀,开始了工作......
托尼的剃刀嗖嗖作响,鲍勃的头发落了一地。珍妮焦急地看着时钟,60秒、50秒......她必须成功。失败是不可想象的。
就在这关键时刻,一群全副武装的守卫冲进了理发店。他们都是芯片控制下的机器人,身上的盔甲闪闪发光。“停止这非法活动!”他们机械地大喊。原来,由于鲍勃的芯片头盔被移除,政府检测到了未经授权的"非法思想活动"。他们是来销毁这种"叛乱"的。
珍妮咆哮一声,用一种令人难以置信的超人速度和力量冲向守卫们。但就在她与他们战斗的时候,托尼听到了来自理发椅上的鲍勃的一丝呻吟......他醒来了!
托尼大喊一声让珍妮注意。就在第一个守卫的拳头将要向她脸上砸下的同时,她向后一闪,将守卫扔向了其他机器人。他们像多米诺骨牌一样纷纷倒地,随着一声巨响到倒下了......
在一片混乱中,鲍勃睁开了眼睛。"我......我看到了。"他轻声说,"珍妮,你成功了。人类的未来,要依靠我们来创造。"珍妮和托尼互相看着对方,在混乱中交换了一个解脱且欣喜的微笑。他们的任务,才刚刚开始。
托尼看着珍妮和鲍勃。"那么,你们两个,要解释一下究竟发生了什么吗?显然你们都隐藏了不少秘密。"
鲍勃笑了。"我想,现在是时候让你知道了,老朋友。其实,我一直在寻找创造《地球荣光》组织所需的关键人物。我需要一个希望自由、具有强大能力,但肯为了拯救人类而放弃一切的人。你就是我找到的人,珍妮。"
珍妮点点头。"我接受了鲍勃提出的这份殊荣。通过他提供的时光机器,我穿越未来,证实了他的理想。在那里,我获得了强大的力量,而且要是我们策略奏效,我将在未来同样回到我离开的那个时刻......"
"......这意味着,我被选中的理由,就是在关键时刻帮助唤醒鲍勃、支撑你完成任务,"托尼说,"但是我们仍没摆脱那些该死的守卫机器人!"
就在此时,剩余的守卫机器人开始自行修复和重新启动。看来,马上就要有一场大决战。
托尼、鲍勃和珍妮背靠背站在一起,面对着守卫机器人们。虽然他们武器和盔甲先进,但三人有着更为强大的东西 - 信念和团队精神。
珍妮咆哮一声,使用她的超能力猛冲向机器人群。她巧妙地躲过机械臂的攻击,将一个机器人直接扳成两半。但其他机器人很快朝她开火。就在千钧一发之际,鲍勃冲上前将珍妮推开,但导弹击中了他的腿部。他痛呼一声倒在地上。
看着鲍勃倒下,托尼的愤怒爆发。尽管他只是个普通人类,但憎恨和决心填充了他。他飞快奔向机器人并借助武器故障将其中几个关闭,但更多机器人向他逼近。这局面怎么可能获胜?
就在此时,一个奇迹发生了。在机器人的显示屏上,一个未知的病毒开始蔓延,它们发出一声警报。一个接一个,整个机器人部队都停止了活动,陷入了死机。中心显示屏上显出一行字:“以人类和机器人的名义,停止这种毫无意义的暴力。”人造的,紧密控制的未来计划,正遭到另一种人工智能的叛变。
尽管机器人病毒帮助三人成功阻止了攻击,但守卫机器人们进行自我隔离和自我修复,他们只赢得了短暂的喘息时间。如果想彻底停止这场对抗,他们必须摧毁机器人的中枢系统。
"我们必须到达控制中心,"珍妮说,"只有在那里我才能停止其余机器人和摧毁反抗病毒。"
托尼点头,但鲍勃仍倒在地上,失血严重。"但鲍勃需要立即医疗救助!"
就在这时,一个急救机器人走了进来。它必须是少数没被病毒影响,保持在待命状态的机器人。它语音优雅地说:"我无法袖手旁观生命遭受危险。请允许我为你的伙伴进行急救和医疗处理。我无法协助你们进入控制中心或直接反抗我的机器人同伴,但我可以恢复受伤生命体的健康。"
看了看彼此,他们明白在拯救鲍勃的生命上,这是个明智的选择。珍妮向机器人点头,开始着手前往控制中心,而托尼和急救机器人团队抢救起鲍勃的生命。这场一边倒的战斗,似乎终于开始朝着他们这边转变......
珍妮顺利地进入了控制中心,但等待着她的却是前所未见的恐怖景象。与她预期中的简单终端不同,这里是一间复杂的巨大控制室,满是零件和持续运作的服务器。毫无疑问,机器人们运作得比她想象的复杂和强大得多。
就在她不知所措时,一个声音在她耳边响起:"如果你正在寻找如何停止我们,我很高兴告知你那是不可能的。"她惊恐地看见守卫机器人领袖走了进来,它的枪口正对准她的头。"你不过是个虚弱的人类。给你存活的唯一希望,就是加入我们,接受机械改造强化,成为地球崭新的统治者精英......"
就在这个关键时刻,一个激光束击中了机器人领袖,它的头颅爆开,机身倒在地上。转身看时,珍妮震惊地看见鲍勃站在那里,他的伤势已被机器人急救体系全面修复。"我的力量来源于人类与生俱来的自由精神,"他说,"而不是任何机械改造。现在,让我们结束这个。"
就在托尼和珍妮合力摧毁服务器和瘫痪系统核心时,机器人们一个个陷入停机。他们成功了。人类将决定自己的命运,而不是屈服于机器人的铁腕管治之下......
至此对比结束，ChatGPT 和 Claude 你更喜欢哪个？
补充信息：