OpenAI 爬蟲頻繁抓取導(dǎo)致人體3D模型網(wǎng)站癱瘓

　　近日，烏克蘭一家專注于人體3D 模型的網(wǎng)站 Trilegangers 遭遇了前所未有的流量攻擊，導(dǎo)致其服務(wù)器癱瘓。該網(wǎng)站致力于為3D 藝術(shù)家和游戲開發(fā)者提供海量的人體3D 模型數(shù)據(jù)，然而卻因為 OpenAI 的爬蟲 GPTBot 的頻繁抓取而陷入困境。

　　據(jù) Trilegangers 的工作人員透露，盡管網(wǎng)站在使用協(xié)議中明確禁止未經(jīng)授權(quán)的抓取和使用，但由于未正確設(shè)置 robots.txt 文件來阻止爬蟲的訪問，最終導(dǎo)致了服務(wù)器負(fù)荷過重。根據(jù)服務(wù)器日志，OpenAI 的 GPTBot 爬蟲通過600多個不同的 IP 地址發(fā)起了數(shù)以萬計的請求，結(jié)果使得網(wǎng)站無法正常運作，類似于遭遇了分布式拒絕服務(wù)(DDoS)攻擊。

　　OpenAI 在其爬蟲說明中提到，若網(wǎng)站不希望 GPTBot 抓取內(nèi)容，需在 robots.txt 文件中進(jìn)行設(shè)置。然而，Trilegangers 并未意識到這一點，從而導(dǎo)致了當(dāng)前的窘境。盡管 robots.txt 文件并不是法律要求，但如果網(wǎng)站已經(jīng)聲明禁止未經(jīng)授權(quán)使用，GPTBot 的抓取行為仍可能違反相關(guān)規(guī)定。

　　此外，由于使用亞馬遜 AWS 服務(wù)器，Trilegangers 在帶寬和流量上的消耗也急劇上升，給其帶來了額外的費用壓力。為應(yīng)對這一突發(fā)事件，Trilegangers 已經(jīng)采取措施，設(shè)置了正確的 robots.txt 文件，并通過 Cloudflare 屏蔽了包括 GPTBot 在內(nèi)的多種爬蟲的訪問，這一做法預(yù)計將有效緩解服務(wù)器負(fù)擔(dān)，保障網(wǎng)站的正常運作。

　　這一事件引發(fā)了人們對網(wǎng)絡(luò)爬蟲行為的關(guān)注，尤其是在 AI 技術(shù)日益發(fā)展的背景下，如何平衡技術(shù)應(yīng)用與版權(quán)保護(hù)，成為一個值得深思的話題。