爬蟲把服務(wù)器爬掛了 合法嗎（惡意爬蟲會(huì)造成服務(wù)器性能損耗嗎）
IT之家 7 月 1 日消息，爬蟲爬掛爬蟲互聯(lián)網(wǎng)安全和性能優(yōu)化公司 Cloudflare 宣布了一系列新措施，把服旨在幫助網(wǎng)站抵御 AI 爬蟲的器務(wù)器無限制抓取，同時(shí)探索一種新的合法會(huì)造商業(yè)模式，以保障互聯(lián)網(wǎng)內(nèi)容創(chuàng)作者的惡意利益。
據(jù)IT之家了解，成服根據(jù) Cloudflare 的損耗最新政策，每一個(gè)與該公司簽約以管理其網(wǎng)站流量的爬蟲爬掛爬蟲新域名客戶將被詢問是否允許 AI 爬蟲訪問其網(wǎng)站，還是把服選擇完全屏蔽這些爬蟲此前，Cloudflare 已于 2024 年推出了一款免費(fèi)工具，器務(wù)器用于阻止 AI 爬蟲，合法會(huì)造但此次更新后，惡意用戶無需手動(dòng)調(diào)整設(shè)置即可默認(rèn)屏蔽 AI 爬蟲。成服
目前，損耗包括康泰納仕（Condé Nast）、爬蟲爬掛爬蟲《時(shí)代》雜志（TIME）和美聯(lián)社（The Associated Press）在內(nèi)的多家大型出版商已經(jīng)選擇屏蔽 AI 爬蟲Cloudflare 首席執(zhí)行官馬修?普林斯（Matthew Prince）指出，出版商正面臨一場“生存危機(jī)”，因?yàn)橛脩舨辉冱c(diǎn)擊聊天機(jī)器人提供的原始鏈接。
如果用戶不訪問這些網(wǎng)站，網(wǎng)站就無法獲得維持運(yùn)營所需的廣告收入普林斯在一份聲明中表示：“原創(chuàng)內(nèi)容是互聯(lián)網(wǎng)成為過去一個(gè)世紀(jì)最偉大發(fā)明之一的關(guān)鍵，創(chuàng)作者必須繼續(xù)創(chuàng)作AI 爬蟲無限制地抓取內(nèi)容，我們的目標(biāo)是將權(quán)力重新交還給創(chuàng)作者，同時(shí)幫助 AI 公司繼續(xù)創(chuàng)新。
這關(guān)乎通過一種新的模式，保障一個(gè)自由且充滿活力的互聯(lián)網(wǎng)的未來”
此外，Cloudflare 還啟動(dòng)了一項(xiàng)名為“按爬取付費(fèi)”的私人測試項(xiàng)目，該項(xiàng)目允許網(wǎng)站所有者向 AI 爬蟲收取訪問內(nèi)容的費(fèi)用Cloudflare 解釋稱：“每次 AI 爬蟲請求內(nèi)容時(shí)，它們要么通過請求頭展示支付意愿以獲得成功訪問（HTTP 200 響應(yīng)代碼），要么收到一個(gè) 402 付款所需響應(yīng)，其中包含定價(jià)信息。
”該公司將記錄這些交易并提供底層技術(shù)基礎(chǔ)設(shè)施出版商可以選擇允許某些爬蟲免費(fèi)訪問其內(nèi)容，同時(shí)也可以為其網(wǎng)站上的其他爬蟲設(shè)定統(tǒng)一的按請求收費(fèi)價(jià)格Cloudflare 表示，“按爬取付費(fèi)”目前仍處于早期階段，預(yù)計(jì)未來會(huì)不斷演變。
公司還支持開發(fā)其他市場平臺(tái)和收費(fèi)方式，例如允許出版商根據(jù)內(nèi)容類型設(shè)置動(dòng)態(tài)定價(jià)