爱吱声

标题: 论文是AI写的,算学术不端吗? [打印本页]

作者: 晨枫    时间: 2023-5-31 13:33
标题: 论文是AI写的,算学术不端吗?

来源:微信公号“南方周末”

作者:翁榕榕

“请写一篇有关粤语的语言学论文”。

当南方周末记者在ChatGPT的聊天框里输入以上内容后,停顿几秒,屏幕上慢慢出现一个个字符,连缀成标题“粤语的语言学特点及其在语言接触中的角色”,还有一百字左右的摘要:“……本论文旨在探讨粤语的语音、语法、词汇等方面的特点,并分析其在语言接触中的影响……”它条理清晰地生成了六个章节的框架,包括引言、语音特点、词汇特点、语法特点、在语言接触中的作用以及结论。

如果你觉得不够详细,只要再次输入指令,比如“请将粤语的语音特点扩充一下”,短暂的停顿后,ChatGPT就可以继续拓展这部分内容,详细至声韵调系统及音变现象的分析。

重复输入几次后,南方周末记者得到了一篇五千字左右的完整论文,全程不超过30分钟。虽然论证较为简单,但结构思路清晰。如果有更多耐心,还可以继续输入指令训练它,要求它将语言变得更学术化,或列出相关参考文献。

“抄就是很快啊。”中国国内某二本院校新闻专业的大四毕业生李悦告诉南方周末记者,在她的毕业论文初稿中,大约40%的内容由ChatGPT生成。

这并非孤例。在南方周末记者的调查中,一些高校学生借助ChatGPT完成了课程作业、期中论文甚至本硕毕业论文,他们教育背景不一,来自二本院校、普通一本或985高校皆有。

据教育部统计,中国2023届全国普通高校毕业生规模预计将达到1158万人,而绝大部分人都要经历毕业论文这一关。当前正值毕业季,在社交平台上,“用ChatGPT写论文”“用ChatGPT给论文降重”等经验分享帖比比皆是。在电商平台上,也有相关账号在售卖。

“这就是一个bug(漏洞)存在”。从事留学服务工作的吴飞这样形容ChatGPT在大学生群体中的使用。ChatGPT出现后,吴飞增设了一项业务,专门帮助不当使用ChatGPT的留学生进行申诉。

“它会重复说‘车轱辘话’”
4月,某一本院校大三学生冯曼开始使用ChatGPT写作一门通识选修课的期中论文。她的专业是法律,论文要求题材自定,四千字左右,并给出10篇以上参考文献。

冯曼把论文主题定为AI对法律领域的影响,接着,她向ChatGPT提问,它以这个主题列出了论文大纲。

冯曼觉得ChatGPT生成的内容“挺专业的,语气各方面都很像一篇论文”。之后,她又将每一部分分别拓展提问,将生成的内容复制在自己的论文中,稍作修改。最后形成的论文中,有99%的内容由ChatGPT生成。

ChatGPT生成每一部分内容时,都会列出四五条参考来源。冯曼从中挑了10条作为论文参考文献列在最后。最开始,ChatGPT列出了很多外文文献,“明显就是我这个水平不可能看得懂的文献”,冯曼只好再次指定生成中文文献。

赵铭在ChatGPT的帮忙下完成了硕士毕业论文,他在中国一所985大学的理工科专业就读,毕业论文的内容是关于云计算。他总结了几种使用ChatGPT的方法,比如凑字数。

ChatGPT很适合“凑字数”,只要发出指令,一句观点便能扩充至几百字。但字数一多,它也会暴露出不足,很多受访者都反映它会重复说“车轱辘话”,“它废话是真的很多,有可能会一句话翻来覆去地讲”,赵铭说,这时又需要手动加工,适当再删掉一些。

除了很多“车轱辘话”,ChatGPT的表述很机械,信息也并非完全准确。当南方周末记者请它“结合诗句分析李白诗歌中的浪漫主义色彩”时,它给出的四个诗句均与诗名不符,比如将王之涣《登鹳雀楼》中的“欲穷千里目,更上一层楼”,错误地对应为李白的《望庐山瀑布》。

写论文时,赵铭用ChatGPT查询了国内外云计算技术的研究进展,并请它一一详细介绍。他用搜索引擎简单核实了真实性,润色后就放进了论文中,“我感觉它说的东西都是一些现状,也没什么好调整的,就直接用了,作为一个背景相关知识的介绍”。

赵铭的论文前两章主要介绍了研究背景和国内外研究现状,超过80%的内容是直接用ChatGPT生成的。后面的章节和他的实验相关,更多只是用ChatGPT进行扩写和润色。整篇硕士论文一共四万多字,据赵铭估计,ChatGPT大约写了30%-40%。

ChatGPT不仅可以用于查询信息和润色语言,它也具备提出观点的能力。李悦的毕业论文主题是某产品的营销传播分析,她让ChatGPT分析该产品遇到的挑战和策略,它条分缕析地细细阐述,四千多字的内容用一小时就完成了,李悦觉得“比自己写得好”,这些内容自己也“能想出来,但不想组织语言”。

即使是同一个问题,ChatGPT的回答虽有相似,但不会完全相同。李悦将不同的答案融合一下,凑成整个章节。她会稍作改动,调整一下语序,但不多,“(自己写的部分)应该没有吧”。

ChatGPT不擅长的部分,李悦就“结合别的论文”写成,也就是从相近主题的其他论文里复制。为了降低查重率,她采用的方法是“先全复制,再降重”,这个方法是李悦从社交平台的经验帖里学来的。

按这些方法,李悦大概花了两天时间完成毕业论文初稿。“整篇论文没有我自己写的东西”,李悦告诉南方周末记者。

“老师不可能闲到把参考文献都查一遍”
一开始,冯曼只是用ChatGPT完成课程小作业。平时老师会布置一些问题,让学生写出四五百字的回答。冯曼尝试让ChatGPT生成答案,直接复制交了上去,这些作业会在这门课最终的成绩中占据一定比重。冯曼并不担心被发现,“老师也不可能这样一个小小的课程作业,还去帮你查一下重”。

后来,她干脆用ChatGPT写期中论文,她觉得老师不会认真看,“那个课每次点名都不齐的”。这篇论文只花了她两三个小时,她估计如果要全靠自己写,至少得用一两天,“一是它比较快,二是老师要求不是很高”。她抱着随便交个作业、混个及格的心态,提交了这篇论文。

结果成绩出来,冯曼获得了88分。这个分数在班上属于中等偏上,她很意外。老师详细写了上百字的点评,夸赞部分内容分析得很好,还给出了改进建议。冯曼有些愧疚,自己只是大段复制粘贴,都没认真看写了什么,连参考文献都不知道是否存在。

在此之前,她看见过ChatGPT会编造文献的说法,但她知道,“老师不可能闲到把参考文献一条条都查一遍”,因此也没有特意检查。南方周末记者查询发现,冯曼这篇论文的10条参考文献中,有7条搜索无果,其余3条存在不同形式的错漏,或是书籍版本不存在,或是期号错误、标题不全。

这门课学习的是社会调查与研究方法,下一个任务就是期末论文了,期末论文可以在期中论文的基础上修改,但要求加入问卷调查。冯曼初步设计了一份问卷,用ChatGPT进行了详细优化,由于老师没有提出具体需要发放多少问卷,冯曼编造了调查结果的数据和分析,再让ChatGPT根据这些假数据生成了结论。

冯曼打算就这样提交期末论文。“我感觉用它的话比较省事,而且写出来的文章比我现在的水平要高一点。”她对南方周末记者说,“我花功夫可能还没有它的得分高。”

为了达到重复率不超过12%的要求,冯曼用免费查重软件自行查询,发现重复率只有10%,“AI真的蛮牛的,我以为它的回答都是复制粘贴自网站的,没想到这还是它自己写的。”南方周末记者提醒她参考文献存在的问题后,冯曼回复,“只要查重过了就行,反正是水课。”

最初用ChatGPT写论文时,陈心童很担心会被发现。她是某二本院校即将毕业的大四美术生,从网上了解到查重网站无法检测出是否使用AI,才比较放心地使用,“应该不会出什么事,因为我自己会改”。

国内外已有部分软件如Turnitin、格子达推出了AI检测的技术,比如格子达的“类AI辅写行为检测”功能,据称可将高频、常见、不符人类常见表达习惯和词汇组合等句子标记为类AI辅写。但这类软件目前在中国尚未被普遍使用。

面对普通查重软件的考验时,ChatGPT表现惊人。

陈心童用ChatGPT完成了毕业论文,学校规定查重率低于10%,而初稿过后,她的查重率仅有1.6%,在同学中显得有些“格格不入”。她担心这个异常低的重复率会引起注意,于是从一些优秀论文中复制了他人的内容,将重复率提高至4.5%。

赵铭的硕士论文要求也是查重率10%以下,他将论文初稿查了一遍,原以为ChatGPT生成的部分重复率会很高,但让他意外的是,“标红的地方基本不是它写的”。他修改后上传至学校要求的查重系统,最终以5.6%通过。

在他看来,ChatGPT更像是一个工具,他认为用工具不能算学术不端,学术不端更多指的是抄袭,比如直接复制别人的文章内容,“如果用它生成的话还好吧,要说抄袭的话,它又是抄谁的呢?都是它自己生成的”。赵铭提到,他一位同学写完论文后发给导师,导师主动建议,用ChatGPT润色一下。

“论文最忌讳的就是主要观点不是自己的”
吴飞从事留学服务五年,主要做留学申请和申诉。当学校怀疑学生有学术不端或作弊行为,会进行调查,召开听证会,吴飞的工作就是帮助准备听证和申诉。ChatGPT出现之前,他接到的大多数申诉案例是抄袭或代写。现在,他几乎每天都会接到5单左右因不当使用ChatGPT而造成的申诉求助,这在他接手的申诉求助总数中约占到了80%。

“没有最懒,只有更懒。”在他的经验里,很多留学生外语不佳,连上课听讲都费力,如果课程太多,完成论文的压力就会很大,“之前没有ChatGPT的时候,有些人会找代写”,如今,ChatGPT成了新宠。

硕士研究生孙菁在英国一所高校学习艺术史,她说,作为非母语者,留学生用ChatGPT润色论文较为普遍,语言表达方面,ChatGPT“真的很无所不能”。

通常,孙菁会自己先用英语写完整篇论文,再将其中某些段落放进ChatGPT里,让它替换比较高级的词汇,纠正语法错误,让语句表达更顺畅。有时ChatGPT会改变她的原意,这时候就需要再次给它指令,重新润色。

吴飞对南方周末记者总结,在留学生中,因ChatGPT造成的学术不端主要有几种情况:最严重的是直接把论文要求告诉ChatGPT,或者给它题目,让它生成;第二种是剽窃AI的思路或主题,引用生成文本,但没有标注合理的引用格式;还有一种是让ChatGPT帮忙生成参考文献,有些存在编造情况。

“论文最忌讳的就是主要观点不是自己的。”他对南方周末记者说。

2023年4月,Turnitin软件推出了AI检测功能,已被墨尔本大学、新南威尔士大学等国外高校采用。Turnitin可以通过相关技术分析文本片段,得出论文中有多大比例是由AI生成的预测结果。

吴飞提到,国外很多大学会在学生入学时介绍学术不端的情况,每个国家的学术规范不尽相同,但大多有专门的课程帮助留学生了解学术不端的标准,通常也会开设选修课,专门教学生写论文。

每次写作期末论文前,孙菁会向课程老师提交论文计划,老师给出批注建议,帮忙捋思路,或是提供文献资料。

最后的毕业论文更受重视,系里会召开七八次大型研讨会。目前孙菁已经参加了三次,第一次介绍毕业论文从何入手、如何选题,接下来教学研究方法、如何设置结构等。除了全系的研讨会,还有和自己导师的多次沟通,孙菁的导师要求她每周发邮件说明想法和进展。

在孙菁参加的最近一次论文会上,系里强调,禁止学生在论文中使用AI生成的内容,也不允许学生先用母语写完论文,再用翻译软件进行翻译。

“如果学校或者任课老师明确禁止使用ChatGPT,那就坚决不能用ChatGPT做任何和论文内容相关的事情。”吴飞告诉南方周末记者。

“刚开始写论文什么都不会,我才会用它”
李悦将毕业论文初稿提交后,导师评价写得一般,让她改了两遍,但主要是修改格式,内容的改动很少。当时她的重复率高达30%,不过其中用ChatGPT写的部分很少标红。她用前述翻译成外语再翻回来的方法,将标红的部分重新处理一遍,重复率降到了11%。

重复率通过的论文则可以参加答辩,答辩会上,老师们说李悦的论文“像说明书”。他们提出了一些修改意见,并通过了她的答辩。李悦后来得知,另一位室友同样是用ChatGPT写完了论文,“没多少人有自己写论文的能力,降重过了就行”。

对于冯曼来说,写论文的确有些困难,很多课程的期末任务都是提交论文而非考试,有些老师对查重率也有要求,这种情况下论文得改很多次。但到目前为止,没有一位老师教过他们怎么写论文。按照往年的惯例,在冯曼的学校,大四第一学期会开授一门课教学生如何写论文,为毕业论文做准备,但目前大三的冯曼还没有学到。

作为美术生,陈心童毕业前需要提交毕业设计作品,还有一份创作心得,对作品的创作目的、背景、过程进行阐述,相当于毕业论文,学校查重以及将来论文抽查的对象都是这份创作心得。

陈心童平时基本不写论文。她把画作的内容、色彩和表达的想法简要描述给ChatGPT,让它用学术性语言来表述。但当把这份ChatGPT参与的初稿交给导师后,导师说,她的摘要、引言、目的这三个部分都在表达重复的意思,即她画那幅作品的原因。此前她并没有意识到这个问题。听完导师的建议,又上网查询了摘要的相关知识,她才知道应该怎么写。

即使改到了第三稿,陈心童对这篇论文还是没有太大的信心,她不担心用ChatGPT被发现,更担心论文的质量不行。2021年起,教育部每年都会抽检一次本科毕业论文,如发现问题,可能撤销学位。

“像我们专业,论文根本就不重要,我们重要的是画。但是抽查的话,只能看我们的论文。论文这个东西在我们毕业的时候是非常重要的。”陈心童告诉南方周末记者。

矛盾的是,毕业论文如此重要,他们却没有正式学过该如何写论文。陈心童说,虽然分配了导师,导师也没有专门教过她。“因为刚开始写论文我真的是什么都不会,我才会用它。”她说,“也就是因为ChatGPT(我才)开始入门写论文,才能写出来。”

未来,陈心童打算考研,继续学画画。她知道硕士毕业时仍然需要完成论文,现在她认为这不是问题了,“因为我现在知道它怎么写了,我觉得写论文确实不是什么问题,无非多改几次”。她相信,即使没有ChatGPT帮助,自己也能写出来。知网上有很多论文,她可以参考别人的论文慢慢改、慢慢写。

================

不知道说什么好。我这个话痨,看到AI比我还要话痨,竟然无语了。
作者: 数值分析    时间: 2023-5-31 14:16
长期来看,人工智能的应用是一定会进入科研领域的。这个更像是数学考试允许不允许用计算器的讨论。
作者: 晨枫    时间: 2023-5-31 20:54
数值分析 发表于 2023-5-31 00:16
长期来看,人工智能的应用是一定会进入科研领域的。这个更像是数学考试允许不允许用计算器的讨论。 ...

同意。也可以这么说:ChatGPT好比更加智能的google search,既然学术文章用google search搜集甚至cut and paste and assemble,为社么Chat GPT就不可以?

当然,全文用ChatGPT还是有问题。
作者: 桃李不言    时间: 2023-5-31 20:57
据说ChatGPT会瞎编,比如编造出不存在的法庭判例。
作者: 晨枫    时间: 2023-5-31 21:09
桃李不言 发表于 2023-5-31 06:57
据说ChatGPT会瞎编,比如编造出不存在的法庭判例。

这个可能是算法设定问题。真是普遍问题的话,这事情要注意了。

说到底,自己的文章,都是需要自己核实数据的。
作者: 太阁狗    时间: 2023-6-1 08:56
让学生做presentation。学生ppt里有个关于政策的案例,听着明显违反直觉和社会经验。问学生这个例子有没有核实过,学生理直气壮(甚至可以说是非常傲慢)地怼过来“是真的,你去查!”。告诉她把这个案例链接发给我,没理我。
我查了很久也查不到这个案例,估计是chatgpt之类编的。甚至可不是chatgpt编的,是国内某些类似chatgpt的玩意编的。
作者: 晨枫    时间: 2023-6-1 09:49
太阁狗 发表于 2023-5-31 18:56
让学生做presentation。学生ppt里有个关于政策的案例,听着明显违反直觉和社会经验。问学生这个例子有没有 ...

这样的学生,牛气!

不过是笨牛的牛。
作者: 水风    时间: 2023-6-1 10:03
晨枫 发表于 2023-5-31 20:54
同意。也可以这么说:ChatGPT好比更加智能的google search,既然学术文章用google search搜集甚至cut and ...

我来回答一下这个问题吧。

学术文章的写作过程,实际上应该分为三个阶段。第一个阶段是假说的提出和验证,根据已有的实验结果,和历史上的研究成果,包括自己的和别人的,然后提出一个假说。这个假说最好能够解决业界所关注的一个或者几个问题。很多时候,根据你能解决的程度,决定了你这研究的层次。这个就扯远了。然后你去设计实验去验证这个假说。所以,这个时候写出来的东西,外人压根看不懂。因为根本就不是给外人看的。基本没有文献引用,完全是实验思路,大家讨论的也都是这个假说的合理性,和验证的可行性,以及可靠程度。需要增加哪些实验来补充说明。
第二个阶段,是根据已有的所有的数据与结果。造出一个故事来。哪怕你做的再好,也是要面对读者的。尤其是那些只有基础背景知识的读者。晨大你说的去剪切粘贴,大部分都是这个阶段。但要注意的是,造假与借鉴的区别在于,你是不是有了自己的数据以后去造这个故事,还是单纯的去造了个故事,然后再去攒数据。或者制造数据。为甚要去去借鉴已经发表的文章呢?因为业界都有一个思维定势,或者说是套路。某些文章的套路写的特别出彩,层次分明,结构明了。一看就是上等的八股文。绝对要好好观摩,然后效仿。
第三个阶段,就是把这个故事给顺序调整,那里先说,哪里后说。文字上细细推敲打磨。

所以说,写一篇专业文章,是以自己的假说为中心的。这也是整篇的精髓所在。而无论是审稿人还是专业的读者要去看的,也是这个假说。以及对于假说的验证过程。

而假说这个东西,并不是所有的文章都能非常鲜明而且条理性的把自己的假说给弄明白了。哪怕是CNS上面发表的东西,很多也是写的云山雾罩的。更不用说诸多滥竽充数的杂志上面的二流三流不入流的文章了,更是鱼龙混杂。很多是有思想的,但实验设计跟不上,或者是跟上了,但结果不佳;或者是似是而非,模棱两可的。更多的,说白了就是抄袭。不过稍微改一下,你用大白兔,我用小灰兔,你拿罗非鱼,我用草鱼。

所以呢,就造成了现在不要说本科毕业生了,就是硕士博士的专业文章和毕业论文,都是写的惨不忍睹的。而且大家快了萝卜不洗泥,都是凑合了事。除了极少数的院校能够坚持高标准严要求,大家都是难得糊涂。

但大家不要以为这就是真正的搞科研,写学术文章了。
作者: 水风    时间: 2023-6-1 10:15
太阁狗 发表于 2023-6-1 08:56
让学生做presentation。学生ppt里有个关于政策的案例,听着明显违反直觉和社会经验。问学生这个例子有没有 ...

现在的学生都这么硬气了么?我当年被问到文献出处的时候,必须要记得出版的刊物名称,年份,卷数,第一作者和最后作者才能算过关。至于内容就更不用说了。都到了能够需要分析实验设计优缺点的程度了。无它,就是当年开题报告给摧残出来的。经过这么一番折磨,大家自此学风严谨,扎实可靠。

现在的小孩们的日子是不是过得太舒坦了?

作者: 晨枫    时间: 2023-6-1 10:53
水风 发表于 2023-5-31 20:03
我来回答一下这个问题吧。

学术文章的写作过程,实际上应该分为三个阶段。第一个阶段是假说的提出和验证 ...

很同意!我的理解也是这么个顺序,只是实验可能变成证明,或者仿真。其实我们那时已经光拿仿真成不了论文了。看来现在写论文的标志是水很多了。
作者: 水风    时间: 2023-6-2 08:56
晨枫 发表于 2023-6-1 10:53
很同意!我的理解也是这么个顺序,只是实验可能变成证明,或者仿真。其实我们那时已经光拿仿真成不了论文 ...

是啊,只用chatGPT就能完成的论文可是超级水的。不过也难怪,现在就是当导师的都水的一塌糊涂。你还能指望他能教出什么出色的弟子来?
作者: 晨枫    时间: 2023-6-2 11:01
水风 发表于 2023-6-1 18:56
是啊,只用chatGPT就能完成的论文可是超级水的。不过也难怪,现在就是当导师的都水的一塌糊涂。你还能指 ...

看来学术贬值不光是中国的问题……
作者: 太阁狗    时间: 2023-6-2 20:48
水风 发表于 2023-6-1 10:15
现在的学生都这么硬气了么?我当年被问到文献出处的时候,必须要记得出版的刊物名称,年份,卷数,第一作 ...

非常“硬气”

现在的所谓“以学生为中心”、“让学生满意的教育”走得非常偏,成了以哄学生开心而不是认真学习为中心。大部分学生什么情况最开心?不用学习就能拿高分。有的学生在网上公开放话,“我承认自己没认真学,但老师给我打低分就是老师的问题”。
作者: 太阁狗    时间: 2023-6-2 20:49
晨枫 发表于 2023-6-1 09:49
这样的学生,牛气!

不过是笨牛的牛。

这学生看到这个回复,会自动忽略后一句,然后到处跟人说,“晨大说我牛气”
作者: 晨枫    时间: 2023-6-2 21:17
太阁狗 发表于 2023-6-2 06:48
非常“硬气”

现在的所谓“以学生为中心”、“让学生满意的教育”走得非常偏,成了以哄学生开心而不是认 ...

能说出这种话的学生,以后一定混得惨。
作者: 水风    时间: 2023-6-3 06:36
太阁狗 发表于 2023-6-2 20:48
非常“硬气”

现在的所谓“以学生为中心”、“让学生满意的教育”走得非常偏,成了以哄学生开心而不是认 ...

这就是本末倒置了。不是所有花了钱的人都是顾客,都是上帝。至少在当学生的时候不应该如此。

你让我想起了最近看到的一则新闻。纽约大学跟主教基础化学的教授解约了。因为学生们抱怨他的考题出的太难了。这位教授是普林斯顿大学退休后,闲不住跑了纽约大学来教书,不为了钱,就为了一个乐呵。采访他的时候,他表示前后教了40多年,标准从来就没改过。试题也几乎没动过。是学生越来越懒,越来越烂。。。

作者: 晨枫    时间: 2023-6-3 07:56
水风 发表于 2023-6-2 16:36
这就是本末倒置了。不是所有花了钱的人都是顾客,都是上帝。至少在当学生的时候不应该如此。

你让我想起 ...

这种烂事也能“普世”!唉,什么世道!
作者: 水风    时间: 2023-6-3 08:07
晨枫 发表于 2023-6-3 07:56
这种烂事也能“普世”!唉,什么世道!

我没想到中国的学生也学会了摆烂。美国的学生素质每况愈下,已经不是新闻了。纽约大学荣登年轻人最向往的大学首位,估计跟这种放羊式,无原则的讨好学生的管理不无关系。但家长们好像不吃这一套,很多人认为把孩子送去纽约大学,就是一种不负责任的表现。
作者: 晨枫    时间: 2023-6-3 08:37
水风 发表于 2023-6-2 18:07
我没想到中国的学生也学会了摆烂。美国的学生素质每况愈下,已经不是新闻了。纽约大学荣登年轻人最向往的 ...

纽约大学在上海还有分校,是名校呢
作者: 水风    时间: 2023-6-3 09:46
晨枫 发表于 2023-6-3 08:37
纽约大学在上海还有分校,是名校呢

纽约大学好像在文科类还是很吃香的。法律,金融,管理排名都不低。生物类也曾经很不错过。它的医学中心有段时间大牛云集。不过纽约大学最大的问题就是势利眼。唯财是举。比较短视。去中国也是为了钱居多。




欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2