自從 OpenAI 推出 ChatGPT 以來，關於學生利用它作弊寫作業的討論就從沒歇息過，如果 OpenAI 推出自家的反作弊工具，學生在使用 ChatGPT 撰寫整篇論文和研究論文前可能會三思而後行。OpenAI 開發了一個工具，可能會抓住那些要求 ChatGPT 寫作業作弊的學生，但據《華爾街日報》報導，該公司還在討論是否真正推出該工具。
OpenAI 正在以「深思熟慮的方法」開發檢測 ChatGPT 寫入內容的工具
根據《華爾街日報》 8 月 4 日的報導，OpenAI 證實他們一直在開發一種用於檢測 ChatGPT 寫入內容的工具。 OpenAI 發言人告訴國外媒體 TechCrunch，該公司正在採取深思熟慮的方法來檢測 AI 撰寫的文本，因為「涉及的複雜性及其可能對 OpenAI 之外更廣泛的生態系統產生影響」。 OpenAI 的檢測技術可以拾取由 AI 產生的水印，並計算出由 ChatGPT 編寫整個文件或部分文件的可能性分數。
OepanAI 的文字浮水印可以用高達 99.9% 的準確性檢測 ChatGPT 生成的文字。 OpenAI 執行長 Sam Altman 和技術長 Mira Murati 尚未發表該功能，因為它並不完全有效，並且可能會損害其業務。據報，它的運作原理是改變 ChatGPT 的令牌選擇過程，建立一種可識別的模式，稱為浮水印，你不會注意到，但演算法可以。發言人解釋說：「我們正在開發的文本浮水印在技術上很有前途，但在研究替代方案時我們正在權衡重大風險，包括容易被不良行為者規避，以及對非英語國家等群體產生不成比例影響的潛力。
儘管水印非常有效，但它們並不是完全密封的，可以透過使用另一種模型重新組裝措辭、將文本翻譯成另一種語言然後再翻譯回來，或者刪除 ChatGPT 可能添加到文本中的表情符號來輕鬆化解。現在，OpenAI 聲稱其工具可以防止篡改，例如釋義。該公司在一篇部落格文章中證實，目前正在測試使用文字中加密簽名的元資料以避免誤報。
OpenAI 擔心如果偵測功能上線，可能會失去使用者。早些時候，該公司發表了一款捕捉 DALL-E 3 建立圖像的工具。 OpenAI 甚至在探討向教育工作者或公司發表浮水印工具，幫助學校識別抄襲作品，這可能有助於遏制任何負面反應。眾所周知，像 ChatGPT 這樣的聊天機器人很容易被濫用，根據單一提示建立整篇論文，教育工作者也很清楚這個問題。民主與科技中心（CDT）最近進行的一項調查證明，教育工作者一直在努力解決生成式 AI 檢測問題，高達 59% 的初中和高中教師發現學生濫用 AI 在作業中作弊，比上學年大幅提高了 17 個百分點。
OpenAI 在對透明度的承諾和賺取收入的需要之間左右為難，但它有道德義務做正確的事，其他缺乏檢測方法的 AI 工具並不是 ChatGPT 跳過實現該功能的藉口。