Reddit 被曝屏蔽多個(gè)搜索引擎和 AI 爬蟲，官方稱與谷歌合作無關(guān)

　　今年 2 月，谷歌宣布與 Reddit 達(dá)成一項(xiàng)新協(xié)議，Reddit 數(shù)據(jù)將用于訓(xùn)練谷歌的 AI 模型，并在谷歌搜索結(jié)果中著重顯示 Reddit 結(jié)果。彭博社報(bào)道稱，這筆交易的金額約為 6000 萬美元。從那時(shí)起，Reddit 在谷歌搜索中的展示次數(shù)也大幅增加。

　　而最新消息稱，Reddit 已禁止其他搜索引擎檢索其網(wǎng)站內(nèi)容。外媒 404 Media 最先報(bào)道了此行為，并指出 Reddit 已更新其 robots.txt 文件(IT之家注：網(wǎng)站與爬蟲的協(xié)議文件)，阻止所有機(jī)器人抓取網(wǎng)站的任何內(nèi)容。

　　IT之家查詢 Reddit 網(wǎng)站的 robots.txt 文件獲悉，該平臺(tái)稱“Reddit 相信開放的互聯(lián)網(wǎng)，但不相信濫用公共內(nèi)容。”其“Disallow”選項(xiàng)設(shè)置為“/”，也就是禁止檢索網(wǎng)站根目錄下的所有文件。

　　該文件在今年 6 月首次更新，Reddit 解釋說，這一更改是由于“抓取 Reddit 內(nèi)容的商業(yè)實(shí)體明顯增多并且內(nèi)容被濫用”。

　　外媒 9To5Google 則稱，Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影響，使用“site:reddit.com”搜索內(nèi)容時(shí)，要么不顯示最新內(nèi)容，要么不顯示完整的網(wǎng)站結(jié)果。

　　不過IT之家最新測(cè)試，Bing、DuckDuckGo 已重新顯示“site:reddit.com”搜索內(nèi)容。

　　Reddit 發(fā)言人 Tim Rathschmidt 在給 The Verge 的一份聲明中表示：“這與我們最近與谷歌的合作完全無關(guān)。我們一直在與多個(gè)搜索引擎進(jìn)行討論，但無法與所有人達(dá)成協(xié)議，因?yàn)橛行┤藷o法或不愿意就他們使用 Reddit 內(nèi)容(包括他們對(duì) AI 訓(xùn)練的使用)作出可執(zhí)行的承諾。”