隨著 AI 聊天技術的蓬勃發展,許多創作者都開始使用相關平台來進行創意上的輔助,甚至會尋求各種意見與看法,對此,知名 YouTuber「Jonas Čeika」近期也在推特上分享了一段有趣的實驗。他向 ChatGPT 發送了一段持續整整 37 秒的「屁聲」並要求對此給予評論,而令他跌破眼鏡的是,AI 竟然對此給出了一段充滿文藝氣息的讚賞,再次引發外界對現行大型語言模型可信度的質疑。

Jonas Čeika 發送的這段影片為「Fart Sounds」,內容為來自經典惡作劇應用程式 iFart 的放屁音效合集,最早於 2016 年 8 月 17 日上傳至 YouTube 平台。而根據這位 YouTuber 的測試,ChatGPT 將這段單純的音效描述為具有「臥室/純手工質感」以及「獨立遊戲選單音樂氛圍」,甚至給予了高度藝術化的正面評論。
在受到該實驗啟發後,一名來自《PC Gamer》網站的編輯也親自進行了相同的測試,而在他得到的結果中,ChatGPT 開頭聲稱他會給出「真實的評論」(real critique) 而不是「瞎捧」(just hype),指出這段音效具備「強烈氛圍」、「良好的旋律基礎」,甚至稱讚創作者能夠完成一段完整的音樂,而不是中途放棄。
然而,該位編輯得到的結果中也提到了一些批評,表示這段音效在結構、混音與音色選擇方面仍有不足,甚至還給出評分了「創意7/10、執行5.5至6/10、潛力8/10」的超認真評分,形容整體風格為「具有良好直覺但仍需打磨的初學製作人」,同時還表示充滿了「80年代錄影帶開場」、「深夜空無一人的街道」的氛圍,更進一步拓展這段「評論」的廣泛性。
除了這種「一本正經講幹話」的評論之外,該編輯也發現內容出現了許多重大錯誤,像是評論中提到了根本不存在的「1:00至1:20」片段。這些實驗再次引發對人們對 AI可靠性的質疑,即使這類自然語言模型確實能生成出流暢且具看似說服力的評論內容,但不少人依然認為目前的 AI 都對用戶太過唯唯諾諾,不敢給出太過負面的回應。
在將相同的影片下載並轉成 MP3 檔後,筆者個人也親自嘗試了一下,並獲得了以下的超認真結果與改善建議,但要注意的是,在傳送檔案之前記得把標題上的「fart sound」換掉,不然 CharGPT 再笨也能識破。
在好奇心的驅使下,筆者也用相同的音樂檔案請 Gemini 試聽了一下,結果發現這個模型確實比 ChatGPT 聰明多了,不廢話,先上圖



