網(wǎng)站可以阻止OpenAI網(wǎng)絡(luò)爬蟲 避免數(shù)據(jù)用于訓(xùn)練 GPT 模型

　　本文概要:

　　1. OpenAI 現(xiàn)允許網(wǎng)站屏蔽其網(wǎng)絡(luò)爬蟲，以防止其抓取網(wǎng)站內(nèi)容訓(xùn)練 GPT 模型的。

　　2. GPTBot 可能是 OpenAI 允許互聯(lián)網(wǎng)用戶選擇不讓其數(shù)據(jù)用于訓(xùn)練其大型語言模型的第一步。

　　3. 在獲取用于訓(xùn)練 AI 的數(shù)據(jù)方面存在爭議，一些網(wǎng)站和作者提出限制 AI 公司使用其內(nèi)容的要求。

　　OpenAI 現(xiàn)在允許網(wǎng)站屏蔽其網(wǎng)絡(luò)爬蟲，以幫助網(wǎng)站運(yùn)營商防止其內(nèi)容被用于訓(xùn)練 GPT 模型。

　　具體來說，網(wǎng)站可以通過在其 Robots.txt 文件中明確禁止 GPTBot 爬蟲程序的出現(xiàn)，或者阻止其 IP 地址來實(shí)現(xiàn)屏蔽。

　　OpenAI 表示，通過使用 GPTBot 抓取的網(wǎng)頁可能會(huì)用于改進(jìn)未來的模型，但也會(huì)進(jìn)行過濾以刪除需要付費(fèi)訪問、包含個(gè)人身份信息或違反政策的內(nèi)容來源。

　　阻止 GPTBot 可能是 OpenAI 允許互聯(lián)網(wǎng)用戶選擇不讓其數(shù)據(jù)用于訓(xùn)練大型語言模型的第一步。之前有一些嘗試創(chuàng)建標(biāo)記來排除訓(xùn)練內(nèi)容的舉措，例如去年 DeviantArt 提出的 "NoAI" 標(biāo)簽。然而，阻止 GPTBot 并不會(huì)從 ChatGPT 的訓(xùn)練數(shù)據(jù)中刪除之前從網(wǎng)站上抓取的內(nèi)容。

　　獲取用于 AI 訓(xùn)練的數(shù)據(jù)已經(jīng)成為一個(gè)越來越具有爭議的問題。一些網(wǎng)站，包括 Reddit 和 Twitter，一直在努力限制 AI 公司對用戶發(fā)布內(nèi)容的免費(fèi)使用，同時(shí)一些作者和創(chuàng)作人也因涉嫌未經(jīng)授權(quán)使用其作品而提起訴訟。議員們在上個(gè)月的幾次 AI 監(jiān)管聽證會(huì)上也關(guān)注了數(shù)據(jù)隱私和同意問題。

　　在獲取數(shù)據(jù)方面，OpenAI 并未確認(rèn)是否通過社交媒體帖子、受版權(quán)保護(hù)的作品或者互聯(lián)網(wǎng)的哪些部分來獲取數(shù)據(jù)。

　　據(jù)Axios報(bào)道，一些公司，如 Adobe，提出了通過反冒充法律來標(biāo)記數(shù)據(jù)為不可用于訓(xùn)練的想法。包括 OpenAI在與白宮簽署的協(xié)議中同意開發(fā)一種水印系統(tǒng)，以讓人們知道某個(gè)內(nèi)容是否由 AI 生成，但并未承諾停止使用互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行訓(xùn)練。