“未来已来,智领时代”ChatGPT系列活动 | 上海财经大学学术讲座回顾:ChatGPT文本特征及其与人类的对比性研究
讲座概况
3月20日晚19时,由三位来自上海财经大学信息管理与工程学院AILab的博士生郭必扬、王子源、江敏祺主讲的《ChatGPT文本特征及其与人类的对比性研究:ChatGPT有多接近人类?对比、评测、识别》主题讲座在武东路T6如期举行。
讲座PART1
讲座伊始,郭必扬同学介绍了有关ChatGPT的背景。ChatGPT是由OpenAI公司于2022年11月30日发布的一款AI聊天程序。其一经发布便轰动全球,引发人们好奇的同时又不免勾起大家的担忧。
接着,他简要概括了其所在团队的研究内容——收集分析大量人类及ChatGPT问答数据并开源了Human ChatGPT Comparison Corpus(HC3)语料集。该语料集涵盖多个与人类生活息息相关的领域,兼顾中英文,可用于大型语言模型的研究。
同时,他们还基于此进行大量人工测评与语言学分析,总结了许多有趣的结论。这些结论有助于人们思考未来大型语言模型将走向何方。其团队还开发了多种ChatGPT内容检测器以应对不同的使用场景,这些检测器可用于UGC平台的监管,提升内容的可靠性、安全性。
讲座PART2
紧接着,三位博士生同学从四个部分细致介绍了他们所做的研究成果。
语料收集
郭必扬同学首先向大家讲解了第一部分——人类与ChatGPT问答对比语料集的收集工作。其团队通过Q-A公开数据集(如专业咨询平台、UGC平台上的高赞回答等)爬取Wiki页面简介以获取人类专家回答,同时收集面对相同问题时ChatGPT所做出的回答。
人工测评
随后,王子源同学通过腾讯会议远程连线讲座,向大家介绍了研究的第二部分——人工测评。该项目通过图灵测试的方法,让专家与不熟悉ChatGPT的普通人通过多种测试判断不同的回答是来自人类还是ChatGPT。测试发现,在对ChatGPT的识别上,专家具有较高的准确性,而普通人在单项识别时不能做出准确的判断。除此之外,此次人工测评还进行了针对ChatGPT的有用性测试,即在未知情况下比较人类回答与ChatGPT回答的有用性。结果发现,在除医疗领域之外的情况下,ChatGPT被选择的比例大于50%,被认为更加有用。
比对分析
王子源同学接着向大家介绍了ChatGPT的文本特征与其在语言学方面与人类的对比部分。通过对大量数据的分析,团队发现:
ChatGPT文本特点:
(1)写作更有组织有条理,逻辑清晰。
(2)倾向于给出一个很长很详细的答案。
(3)回答中较少的偏见和有害信息。
(4)拒绝回答超出知识范围的问题。
(5)可能会捏造事实。
ChatGPT与人类的回答差异则在于:
(1)ChatGPT严格遵循问题本身,人类会发散扩展到问题之外。
(2)ChatGPT提供客观答案,而人类更加主观。
(3)ChatGPT语言相比人类更加正式。
(4)ChatGPT回答中很少掺杂情感,而人类有更明显的感受表达。
从语言学的角度,ChatGPT回答与人类回答相比具有如下特征:
(1)ChatGPT说的话更长,但词汇量更小。
(2)ChatGPT使用更多名词、动词、介词、连词,更少使用副词、代词和标点。
(3)ChatGPT相对有更长的依存距离,句子结构更加复杂。
(4)ChatGPT的PPL指标大多很低,符合模型特征。
内容检测
江敏祺同学在讲座最后向大家讲解了研究中对ChatGPT的内容检测部分。由于ChatGPT生成的内容开始充斥各种平台,对信息的可靠性、可信度造成威胁,因此人们有必要知道一个内容是否是AI生成的。为此,其团队通过分别训练、交叉测试的方法研制出了几套检测模型用于检测某段内容是否是由ChatGPT生成,大部分模型都有较高的准确性,但在语言较规范的领域(如维基百科)检测性能较低。
讲座PART3
三位博士生同学积极与听众同学们互动,热心地回答同学提出的问题,同时在现场向大家展示了团队构建的检测模型。
在本场讲座中,三位博士生通俗易懂地解释了他们在ChatGPT领域所做出的研究成果,用幽默风趣的语言与热情洋溢的互动进一步加深了同学们对于ChatGPT的了解。
讲座结束后,许多同学发表了自己对于本次讲座的感想,其中来自22级的火喆说道:
“通过本次讲座,我了解到了ChatGPT的文本特征。ChatGPT并不是我们的“敌人”,只要我们将其用在正道上,它将会成为我们得力的工具和助手。三位学长的讲述生动有趣、干货满满,激发了我们的学习热情,也在我们今后的学习道路上树立了榜样。”
(本文转载自上海财经大学 ,如有侵权请电话联系13810995524)
* 文章为作者独立观点,不代表MBAChina立场。采编部邮箱:news@mbachina.com,欢迎交流与合作。
备考交流
最新动态
- 信息管理与工程学院 | 上海财经大学2024年MEM项目(非全日制)调剂通知 2024-03-30
- 24招生 | 上海财经大学2024年工程管理硕士(MEM)(非全日制)招生简章 2023-10-23
- 上海财经大学讲座回顾|人工智能技术在经管领域的应用 2023-04-17
活动日历
- 01月
- 02月
- 03月
- 04月
- 05月
- 06月
- 07月
- 08月
- 09月
- 10月
- 11月
- 12月
- 04/02 暨南大学MBA名师公开课丨解析AI数字人跳舞视频——制作实操及变现路径
- 04/06 活动报名|投资风险与回报的掌控,港科大MBA大师课助你了解交易的智慧
- 04/06 这所双一流有调剂!云南大学EMBA/MTA调剂政策官方解读来了!
- 04/06 报名 | How your Firm will Shape the Future?“小火车”教授公开课暨复旦大学-BI(挪威)国际合作MBA项目说明会
- 04/08 今晚7点!哈尔滨工业大学商学院调剂说明会直播预约开启
- 04/10 4月10日招生开放日 | 第一批面试前最后一场,交大建筑本科学姐与你分享职业转型经历
- 04/11 【活动报名】4月11日@清华大学|2024科创产业投资峰会:硬科技、智能造、创未来
- 04/11 活动报名 | 中欧思创会洛阳站,聚焦智能制造
- 04/12 活动报名 | 香港中文大学(深圳)金融EMBA校园开放日暨24级课程说明会
- 04/12 长江MBA公开课:AI驱动下的企业变革|活动报名
热门资讯
MBA院校号
-
最新动态:
MPAcc(非全)、MBA调剂公告 -
最新动态:
论坛预告 | 2024内部审计高质量发展论坛