自OpenAI的ChatGPT發布後，掀起AI熱潮，但不少人就擔心AI會被用於不法用途。近日，內地就有一名男子使用ChatGPT製造「火車撞死人」的假新聞，而被警方拘捕，成為內地首宗使用AI製作虛假訊息而被捕的案件。
綜合甘肅媒體及甘肅公安的消息，一名洪姓男子利用人工智能技術編造一則虛假的火車相撞的新聞，並在多個平台上發布。甘肅平涼市公安局網安大隊在經過深入調查後，確認洪某使用了ChatGPT來製作假新聞，涉嫌違反網絡監管的相關法規，警方最終將他拘捕。
這是自1月10日《互聯網信息服務深度合成管理規定》頒布實施後，甘肅省偵辦的首例案件。
報導指，平涼市公安局崆峒分局網安大隊於4月25日在日常網絡巡查中發現一個百度賬號出現一篇題為「今晨甘肅一火車撞上修路工人致9人死亡」的文章，初步判斷為虛假不實的消息。
網安民警隨後又發現共計21個百度賬號均在同一時間段發布該文章，文章內容的地點除了平涼市崆峒區外，還涉及蘭州、隴南、定西、慶陽等地，文章點擊量已達1.5萬餘次。
經調查後，涉案百度賬號均為深圳某自媒體公司所有，公司法人代表洪某弟有重大作案嫌疑。
5月5日，專案民警在嫌疑人東莞的住處，對其使用的電腦及賬號進行取證。經審訊，犯罪嫌疑人洪某弟通過微信好友獲知網絡賺取流量變現方法，並購買大量百度的「百家號」，同時使用「易撰」搜索近幾年社會熱點新聞，為規避平台查重功能，嫌疑人通過近期火爆的ChatGPT人工智能軟件將蒐集到的新聞要素修改編輯後，使用「海豹科技」軟件上傳至其購買的百度賬號上非法獲利。
警方指，洪某弟利用現代科技手段編造虛假訊息，並在互聯網上散布，被大量傳播瀏覽，其行為已涉嫌尋釁滋事罪。
目前，平涼市公安局崆峒公安分局已對犯罪嫌疑人洪某弟採取刑事強制措施，案件正在進一步偵辦之中。
現時ChatGPT並未對中國內地開放使用，相信該名男子是透過VPN「翻牆」使用。
自2022年1月起，《中華人民共和國網絡安全法》對使用深度合成技術製作的視頻和照片進行了明確規定。根據法規要求，所有使用深度合成技術製作的視頻和照片必須清楚地標明，以防止公眾混淆。違反法規的行為，將依法追究責任。
