9 月 26 日消息，網(wǎng)絡服務商Cloudflare本周推出一系列防AI 爬蟲的工具，包括可查看 AI 爬蟲具體活動的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關(guān)服務，從而防止自己網(wǎng)站的內(nèi)容被用于訓練AI的機器人爬蟲扒取。8Xt28資訊網(wǎng)——每日最新資訊28at.com

IT酷哥注：爬蟲是一種自動化的程序，可以在互聯(lián)網(wǎng)上搜索和獲取信息，目前許多廠商使用相關(guān)爬蟲扒取各大網(wǎng)站信息用于訓練AI模型，相關(guān)爬蟲容易導致被扒網(wǎng)站產(chǎn)生大量異常流量，為此站長需支付高昂的網(wǎng)絡帶寬費用，同時也容易導致網(wǎng)站上大量原創(chuàng)/隱私內(nèi)容泄露。8Xt28資訊網(wǎng)——每日最新資訊28at.com

Cloudflare推出的相關(guān)工具主要利用簽名比對、啟發(fā)式算法、機器學習和行為分析技術(shù)來辨別爬蟲，用戶可以查看 AI 爬蟲的各種行為，包括爬蟲類型、訪問頻率和掃描內(nèi)容，站長還可以按照需要放行“善意的 AI機器人”抓取信息（此類“善意的AI機器人”主要尋找網(wǎng)站的robots.txt來獲取信息，通常不會對網(wǎng)站本身產(chǎn)生異常流量，也不會將網(wǎng)頁所有數(shù)據(jù)直接用于全盤訓練模型）。8Xt28資訊網(wǎng)——每日最新資訊28at.com

8Xt28資訊網(wǎng)——每日最新資訊28at.com

如果不確定如何處理這些 AI 爬蟲，站長們也可以使用 Block AI Scrapers and Crawlers 功能，一鍵屏蔽所有 AI 爬蟲。8Xt28資訊網(wǎng)——每日最新資訊28at.com

8Xt28資訊網(wǎng)——每日最新資訊28at.com

互聯(lián)網(wǎng)為許多大語言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的訓練數(shù)據(jù)，如今許多廠商為了刷自家AI模型分數(shù)，大肆通過網(wǎng)絡爬蟲“拿來式”地獲取訓練數(shù)據(jù)，從而讓本應你情我愿的行為變得“污名化”，各大網(wǎng)絡商直接推出此類禁用AI爬蟲的服務也在意料之中。8Xt28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.www897cc.com/showinfo-26-116348-0.html一鍵屏蔽惡意 AI 模型爬蟲機器人，Cloudflare 推出“防扒”網(wǎng)絡工具

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 倍思全國首家體驗店在深圳開業(yè)

下一篇： 賦能產(chǎn)業(yè)數(shù)智化升級，APUS 入選信通院“鑄基計劃”全景圖