当前位置：首页 > 科技 > 软件

一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具

来源：责编：时间：2024-09-26 16:33:49 78观看

导读 9 月 26 日消息，网络服务商Cloudflare本周推出一系列防AI 爬虫的工具，包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相关服务，从而防止自己

9 月 26 日消息，网络服务商Cloudflare本周推出一系列防AI 爬虫的工具，包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相关服务，从而防止自己网站的内容被用于训练AI的机器人爬虫扒取。

IT酷哥注：爬虫是一种自动化的程序，可以在互联网上搜索和获取信息，目前许多厂商使用相关爬虫扒取各大网站信息用于训练AI模型，相关爬虫容易导致被扒网站产生大量异常流量，为此站长需支付高昂的网络带宽费用，同时也容易导致网站上大量原创/隐私内容泄露。

Cloudflare推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫，用户可以查看 AI 爬虫的各种行为，包括爬虫类型、访问频率和扫描内容，站长还可以按照需要放行“善意的 AI机器人”抓取信息（此类“善意的AI机器人”主要寻找网站的robots.txt来获取信息，通常不会对网站本身产生异常流量，也不会将网页所有数据直接用于全盘训练模型）。

如果不确定如何处理这些 AI 爬虫，站长们也可以使用 Block AI Scrapers and Crawlers 功能，一键屏蔽所有 AI 爬虫。

互联网为许多大语言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的训练数据，如今许多厂商为了刷自家AI模型分数，大肆通过网络爬虫“拿来式”地获取训练数据，从而让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-26-116348-0.html一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：倍思全国首家体验店在深圳开业

下一篇：赋能产业数智化升级，APUS 入选信通院“铸基计划”全景图

标签：

热门焦点

影音体验是真的强简单聊聊iQOO Pad

大公司的好处就是产品线丰富，非常细分化的东西也能给你做出来，例如早先我们看到了新的vivo Pad2，之后我们又在iQOO Neo8 Pro的发布会上看到了iQOO的首款平板产品iQOO Pad。虽
5月安卓手机好评榜：魅族20 Pro夺冠

性能榜和性价比榜之后，我们来看最后的安卓手机好评榜，数据来源安兔兔评测，收集时间2023年5月1日至5月31日，仅限国内市场。第一名：魅族20 Pro好评率：97.50%不得不感慨魅族老品牌还
28个SpringBoot项目中常用注解，日常开发、求职面试不再懵圈

前言在使用SpringBoot开发中或者在求职面试中都会使用到很多注解或者问到注解相关的知识。本文主要对一些常用的注解进行了总结，同时也会举出具体例子，供大家学习和参考。注解
使用LLM插件从命令行访问Llama 2

最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2。这是一项非常重要的进展：Llama 2可免费用于研究和商业用途。(几小时前，swyy发现它已从LLaMA 2更名为Lla
微软邀请 Microsoft 365 商业用户，测试视频编辑器 Clipchamp

8 月 1 日消息，微软近日宣布即将面向 Microsoft 365 商业用户，开放 Clipchamp 应用，邀请用户通过该应用来编辑视频。微软于 2021 年收购 Clipchamp，随后开始逐步整合到 Microsof
2023年，我眼中的字节跳动

此时此刻（2023年7月），字节跳动从未上市，也从未公布过任何官方的上市计划；但是这并不妨碍它成为中国最受关注的互联网公司之一。从2016-17年的抖音强势崛起，到2018年的“头腾
微博大门常打开，迎接海外画师漂洋东渡

作者:互联网那些事“起猛了，我能看得懂日语了”。“为什么日本人说话我能听懂？”“中文不像中文，日语不像日语，但是我竟然看懂了”…&hell
华为Mate 60系列用上可变灵动岛：正式版体验将会更出色

这段时间以来，关于华为新旗舰的爆料日渐密集。据此前多方爆料，今年华为将开始恢复一年双旗舰战略，除上半年推出的P60系列外，往年下半年的Mate系列也将
iQOO Neo8 Pro抢先上架：首发天玑9200+ 安卓性能之王

经过了一段时间的密集爆料，昨日iQOO官方如期对外宣布：将于5月23日推出全新的iQOO Neo8系列新品，官方称这是一款拥有旗舰级性能调校的作品。随着发布时