高校檢測AI論文背後
AI中風險,疑似用ChatGPT生成——這是去年四月,學校查重系統對王宇畢業論文的判定。王宇一下慌了。
當時ChatGPT驚豔亮相不到半年,教育界一度擔心學生有了“作弊神器”。在這一背景下,知名學術查重軟件Turnitin率先推出了AI文本檢測器,用來識別論文中的AI生成內容。國內的格子達、知網兩大查重系統也先後上線了AIGC檢測功能,王宇就是第一屆被檢測畢業論文AI率的學生。
隨著生成式AI快速叠代,規則和技術漸漸填上監管真空期。去年8月提交審議的《學位法》(草案)擬定,人工智能代寫屬于學術不端行爲,嚴重者可被撤銷學位證書。今年1月,Turnitin的AI文本檢測成爲正式功能,開始像查重服務一樣向高校收取費用,一定程度上意味著AI論文檢測步入正軌。
但這沒有阻擋學生的使用,高校學生依然是生成式AI的主要用戶群。“直接把題目扔給AI讓它寫一整篇論文,老師肯定一眼就能看出來,我身邊已經沒什麽人這麽做了。”劉晨曦告訴21世紀經濟報道記者,她的用法是讓ChatGPT總結文獻、降重、潤色,這也是許多學生現在的使用方式。
不過,劉晨曦的論文還是被標記了25%的AI率,任課老師要求重寫。王宇在寫畢業論文的過程中沒有用到生成式AI,她曾經自己嘗試找出有“AI風格”的句子,改了兩輪後,“AI率越改越高。”
AI參與的論文能不能被准確檢測?有沒有必要檢測?AI論文的監管難題,正在困擾全球教育系統。
查重率低了,AI率高了
王宇去年畢業于湖南一所大學的商科專業。一開始看到自己的本科畢業論文被標記爲“AI中風險”,王宇還不知道問題出在哪裏,因爲她沒用過ChatGPT這樣的工具寫作。直到老師將教師版本的AI檢測報告發過來,王宇才明白,那些AI疑似度高的段落,大多是被自己“降重”過的。
“降重”指降低重複率。此前在學生中流行的一種降重方法是,用翻譯軟件多次轉換語言,把他人的話快速“轉述”爲自己的觀點。王宇用的就是這種辦法,她把一段話先從中文翻譯成英文,再將英語譯成日文,最後譯回中文,以此更換詞語和語序,降低與原文的相似度。
不過辦法這一次失靈了。“查重率是低了很多,但被認爲是AI寫的。”
王宇學校使用的是格子達查重系統,去年四月開始運行“類AI輔寫行爲檢測”功能。在王宇的個人提交界面,論文被評級爲AI中風險。在王宇老師的界面,可以更清晰地查看可疑文本,每一句的AI疑似度分高、中、低三檔,輔寫工具均判定爲ChatGPT。
除了格子達和知網,AI檢測工具尚未在國內高校全面鋪開。相比之下,Turnitin查重系統在海外應用更廣,檢測也更細致。劉晨曦在加拿大上學,去年十二月,她的一篇論文在Turnitin中顯示AI率25%——意思是25%的文本疑似由AI生成。老師因此讓她重寫,並且無論如何都要扣除25%的分數。
這篇論文是劉晨曦英語文學課的結課作業,主題是比較兩部文學作品。寫論文時,她先跟ChatGPT最新的GPT-4大模型討論寫作方向,得到了比較兩位俄國女詩人的靈感。接著讓GPT-4查找文獻,自己寫出大綱和草稿。最後再讓GPT-4降重、潤色。最終論文裏有多少屬于AI,多少屬于自己,她很難區分清楚。
劉晨曦說,GPT-4直接輸出論文仍然很生硬,編造文獻不少,“還不如自己寫”。但比起傳統的降重方法,ChatGPT的優勢是可以精准“調教”,比如改寫特定的句子,或者解釋複雜概念。在找文獻上也更快捷,原本需要檢索兩到三天的文獻,GPT-4幾個小時就能整理完畢。
根據Nerdynav的調查,43%的大學生用過生成式AI完成作業。英國媒體The Lab統計發現,羅素大學集團下的八所大學,對ChatGPT的訪問量在兩個月內高達100萬。其中12月和1月是校園網絡訪問ChatGPT的高峰期,正是考試集中月。多位受訪學生告訴記者,AI一鍵生成的論文意義不大,基本達不到學校要求。學生現在的主要用法是總結文獻、降重、潤色語言,本質還是他們曾經抄過的一條“捷徑”。
劃下AI率紅線後,這條“捷徑”走不通了。從去年夏天起,小到隨堂感想,大到結課論文,劉晨曦的學校都要求AI率爲0%。
王宇學校規定,畢業論文必須爲AI低風險。她把被標記爲AI的句子用自己的“大白話”重新描述,在修改了6個版本後,論文終于變爲AI低風險。“這是個玄學。”王宇形容。
上世紀論文也被判定爲AI
多所高校都發布過AI論文禁令。最早開始的是美國紐約教育局,其限制在學校Wi-Fi網絡環境中訪問ChatGPT。英國大學尤其注重學術誠信,牛津、劍橋、帝國理工等28所英國大學都曾宣布,在論文和課程作業中不當使用AI,將被視爲違反學術誠信的行爲,嚴重者可能被開除學籍。香港大學也表示,學生在課程作業中使用AI需要老師批准,否則可以按作弊處理。
AI檢測技術的影響是立竿見影的。Tunitin上線AI檢測器的一個月內,全球有超過一萬所中高等教育機構激活了這款工具。除了Turnitin,市面上還流行GPT Zero、 Copyleak等AI檢測工具,大多向個人免費開放。
一留學中介在社交媒體上分享,2023年在英國留學生中,AI代寫論文的學術聽證會數量,已經超過人工代寫。“AI檢測率高是很石錘的學術不端。”
但AI檢測器准確嗎?石白在美國加州大學系統下的一所大學擔任助教,她告訴記者,如果論文全篇用AI生成,有經驗的助教一眼就能看出來。去年秋季學期,她的課上就有兩篇論文屬于這種情況。“用詞華麗空洞,而且引用的文獻基本不存在。”石白搜索了一款AI檢測工具,99%的檢測結果幫她肯定了自己的猜測。
被懷疑有AI參與的論文還有三到四篇,AI率在30%~40%之間,但石白沒有追究。一個原因是,她熟悉其中一位學生的寫作風格,其寫法一直比較華麗;另一方面,有其他助教曾經檢測了自己的原創論文,AI率也有30%~40%,這讓石白覺得AI檢測工具還不夠可靠。
劉晨曦用五篇AI參與程度不同的論文,測試了市面上的主流AI檢測工具,得出的結論是:除非完全不用任何工具,否則都有AI含量。比如,去年十二月,她讓GPT-4潤色了知名哲學家朱迪斯·巴特勒、斯拉沃熱·齊澤克的兩篇論文,前者在Turnitin檢測出的AI率爲51%,後者爲34%。
“而且巴特勒本人就喜歡用生僻詞語、長難句寫作,哪怕直接提交她在上個世紀發表的論文,也顯示有AI內容。”劉晨曦補充道。
盡管許多AI檢測工具聲稱誤判率在1%之內,但在使用過程中,誤判概率似乎遠高于官方數字。最大的誤判區是語法工具、翻譯軟件和潤色功能,一些固定的個人寫作風格也可能被誤傷。
對于可能出現的誤判,Turnitin的解釋是:“AI檢測器會識別書寫過于一致、平均的模式,而許多人的寫作水平可能就屬于平均模式。” 這也是市面上大部分AI檢測器的說法。
簡單來說,人類往往會綜合使用長短句,而AI 的句子更單調。此外,人類的文本通常還有複雜的轉折、非典型的邏輯結構,讓AI無法准確工具測下一個詞語。這兩個影響因子決定了,一些遵循“寫作模板”的論文,可能被誤認爲是AI作品。至于這些模板究竟是什麽,具體如何運作,幾乎沒有AI檢測器能夠提供解釋。就像AI一樣,目前AI檢測的技術原理也處于黑箱之中。
考慮到存在誤差,許多AI檢測工具都發布了“免責聲明”。比如Turnitin建議,不把AI率當作唯一標准,希望老師綜合專業經驗以及對學生的了解做判斷。
使用界限模糊
北京大學教育學院學習科學實驗室執行主任尚俊傑在采訪中告訴21記者,目前AI檢測器的意義,主要是監督明顯的學術不端行爲,比如直接用AI生成全文。
還有一種情況是,AI靈活應用在整個研究和寫作過程中。此時的核心問題在于,哪些行爲算學術不端,哪些行爲算合理使用?簡單用數字高低判斷並不科學,劃分界限是個難題。
論文被檢測出25%的AI率、判定爲抄襲後,劉晨曦將每一階段的草稿、文獻整理筆記、浏覽器搜索曆史發給老師,證明論文是自己的原創作品,成功爭取到了老師的認同。不過,申訴中介讓她不要跟老師提到ChatGPT,于是她謊稱用的是另一款老牌寫作工具Grammarly。
Grammarly是上一波人工智能浪潮的産物,主要用來糾正語病、潤色語句,不少歐美大學的寫作指導中心甚至會鼓勵學生先用Grammarly批改作業。“嚴格意義上,用輔助工具都算作弊。但老師比較能理解這些軟件的作用,所以我只能這麽說。”劉晨曦解釋。
既是在讀博士,又爲大一、大二學生授課的石白,一方面能理解學生用AI寫論文,因爲她也常用ChatGPT做論文的前期准備,比如做表格、搜文獻;另一方面,她認爲本科生無法把握使用的邊界,所以才會在教學大綱中完全禁止學生使用AI。
多位受訪學生提到,求助AI的一個原因是學術能力有限。“本科生的論文沒什麽學術含金量,這種綜述性的作業,大家都是找幾篇論文湊一湊觀點,再找工具改一改。”王宇說,只要不涉及數據造假、文獻造假,她覺得用AI寫論文沒有什麽問題。
但在石白看來,學術論文是觀察、思考、提問、論述的完整過程。一篇名爲《感謝ChatGPT揭露本科論文的平庸》的文章寫道,本科論文的重點是教育,而不是知識的進步。最關鍵的是訓練和展示學生處理信息的能力,不是産出有價值的知識。“如果一直依賴ChatGPT得到結果,就不會經曆批判思維的訓練過程。而過程才是我想讓學生學習的。”石白說。
華盛頓大學的一位教授在《大西洋月刊》上表示,被識別出AI內容的論文可能介于完全沒用AI,工具者100%用AI之間。學生究竟怎麽使用、用法是否錯誤,AI檢測工具無法回答,師生間誠實的溝通變得越來越重要。
教育規則的反思和變革
AI檢測器難以解決的監管難題,反映出一個更深層次的困擾:如何處理AI和教育的關系?
尚俊傑告訴記者,技術革新一直在影響著教育系統。上世紀的學生需要去圖書館逐本翻閱文獻,一遍遍用手謄寫論文。搜索引擎和電子文稿軟件普及之後,學生可以直接在網上檢索文獻、複制粘貼、比較分析、歸納總結,大大提升了工作效率。可以說,計算機在整個研究和論文寫作過程中起到了巨大作用,應用AI是必然趨勢。
在尚俊傑看來,AI對高等教育是一次新的提升機會,也提出了更大的挑戰。引導學生合理使用AI,需要重新思考教育系統的“遊戲規則”。
石白認爲,應對生成式AI的沖擊,課程設置和考核方式很重要。她觀察到,學生用AI寫論文,往往跟論文難度有關。比如她發現有數篇AI論文的課程,“學生才剛接觸學術寫作,老師對論文字數、文獻引用數量的要求又很高,其實超過了學生的能力範圍。” 另一門課的論文要求相對合理,而且著重于學生批判、思考的基礎能力,石白在這門課上幾乎沒有發現AI代寫論文。
近幾個月,包括西北大學、德克薩斯大學奧斯汀分校在內的幾所美國高校宣布關閉Turnitin的AI檢測服務,並放寬對AI的限制。此前澳洲的多所大學嘗試轉變考核方式,減少標准考卷,采用更多的口頭報告、現場演示。
還有一些學校開始積極擁抱AI。今年1月,美國亞利桑那州立大學引入ChatGPT企業版,成爲第一個與OpenAI合作的高等教育機構。該校校長表示:“AI將成爲幫助學生提高學習效率,更全面地理解學科的工具。此次合作反映了我們的理念和承諾——我們要直接參與到人工智能學習技術的發展過程中。”
尚俊傑指出,在人工智能時代,學生應該做什麽、學什麽、怎麽學,成爲一個很重要的問題。“對于現在的高校學生,我們要求他們具有一定的計算機能力。在未來,什麽能力是學生需要具備的?哪些能力將與AI挂鈎?” 斯坦福大學機器人及未來教育項目主任蔣裏曾預測,未來學生的能力會被分成兩種:一種是單打獨鬥的能力,不借助任何AI工具的幫助;另一種是AI加持下的能力,這可能是今後最爲重要的能力。不同的能力要求,將重塑人才培養模式。
從更長遠的尺度看,當AI全面參與研究過程,學術規範等諸多規則也會迎來改變。例如尚俊傑提到,在文章中如何提及AI的貢獻,AI能否列爲論文作者,乃至如何定義學術誠信、學術剽竊,都是未來會面臨的問題。
“AI應用于高等教育已經是必然趨勢,需要鼓勵正確使用,而不是一刀切的禁令。人類要探索的新問題是,在人工智能時代下,怎樣構建新的學術規範和倫理規則。”尚俊傑說。(應受訪者要求,王宇、劉晨曦、石白爲化名)
[SFC*本期編輯 : 鍾海玲 *實習生 : 廖家怡*作 者 : 肖潇*編 輯 : 王俊*圖 源 : 圖蟲/來源: 21世紀經濟報導]