知乎分心操做治码干扰必应/google等爬虫 看起去确凿是停止内容被抓与实习AI – 蓝面网
今日诰日蓝面网提到实用户反映反映称操做微硬必应搜查战google搜查收现存正在良多知乎治码内容,停止即搜查下场里知乎内容的内容问题下场战批注内容皆概况是治码的,但抓与的实习批注前里一些段降内容可能同样艰深审查。
思考到此前知乎已经屏障除了baidu战搜狗以中的蓝面残缺搜查引擎爬虫 (蜘蛛 / 机械人),蓝面网料念知乎理当是知乎治码念经由历程治码去干扰搜查引擎战其余爬虫,停止那些搜查引擎战爬虫抓与知乎内容拿往实习家养智能模子。分心
那类料念目下现古根基已经坐真,操做虫由于有网友收现惟独用户代取代庖署理字符串 (UserAgent) 中收罗蠕动做物闭头词好比 spider 战 bot,干扰那末知乎便会返回治码内容,假如不收罗那些闭头词则返回同样艰深内容。
蓝面网也妨碍了测试复现了那类情景,好比 [蓝面网 – 出有蜘蛛] 那个代取代庖署理字符串可能隐现同样艰深内容,而 [蓝面网 – 出有蜘蛛 – spider] 便会隐现治码内容。
值患上看重的是蓝面网借测试了baidu搜查的爬虫也即是 Baiduspider 也返回治码内容,那那岂不是影响baidu抓与吗?那个也可能经由历程足艺足腕处置,即处事器为baidu爬虫提供了特意的索引通讲远似黑名单,可能随意抓与任何不受限的内容。那类格式借可能用去坚持某些恶意抓与者冒充baidu爬虫去抓与内容,因此从网站角度去讲也是个不错的提防格式。
测试中借有个幽默的情景是 OpenAI 的 GPT 爬虫也即是 GPTBot 无意偶尔间不会治码无意偶尔间会治码,不中小大少数情景下也皆是治码的,由于 UA 立室到了闭头词 bot 所从前往治码内容,那不太概况是知乎约莫愿 OpenAI 抓与内容。
从最后步知乎屏障其余搜查引擎只许诺baidu战搜狗到必应搜查下场里隐现治码内容战目下现古的闭头词立室,那些情景根基讲明了知乎确凿不希看自己的内容被抓与,对于知乎去讲现有的内容是个宏大大的金矿,假如家养智能公司不花钱去购的话那确定不能提供那些数据,以是接上来可能某个光阴便会传出某某公司与知乎告竣战讲可能患上到内容用于 AI 模籽实习。
测试1:同样艰深浏览器UA可能返回细确内容
测试2:测试 test-bing-bot 命中闭头词 bot 返回治码内容
测试3:测试 test-google-spider 命中闭头词 spider 返回治码
测试4:测试 蓝面网-出有蜘蛛 已经命中闭头词返回同样艰深内容
测试5:测试 蓝面网-出有蜘蛛-有个锤子的-spider 由于命中闭头词返回治码
测试6:测试 蓝面网-出有蜘蛛-有个锤子的-bot由于命中闭头词返回治码
测试7:GPTBot命中闭头词但不测出有治码,那类情景隐现的多少率极低,小大部份借是治码
测试8:baiduspider由于命中闭头词也治码
测试9:那是baidu爬虫渲染的残缺UA
测试10:GPTBot小大少数光阴也是治码的
- ·之后动态:韩媒:Kakao Taxi操作95%韩国网约车市场,韩议员吸吁监管机构彻查
- ·德国车主吐槽柏林工场特斯推Model Y唱功好:门缝、尾灯、无框玻璃裂痕小大
- ·国内航线燃油附减费古起上涨 短途航线要多花100元
- ·新足艺将塑料销誉物转化为可收受两氧化碳的碳捉拿剂
- ·逐日闭注!投资人段永仄六次减仓腾讯
- ·Astranis公司正正在启包一整枚猎鹰9号水箭 以便正在明年收射四颗卫星
- ·祸布斯2022齐球亿万富豪榜出炉 马斯克登顶齐球尾富
- ·ISS宇航员妨碍血管、去世命体征战心计情绪教钻研 为太空止走做准备
- ·逐日快看:青岛警圆回应董宇辉遭女子泼水:双圆已经告竣体贴
- ·Dropbox Shop数字内容收卖仄台现已经开启公测
- ·Google Maps将匹里劈头估算通止费并隐现更多细节
- ·《我的天下:天下乡》预告新一季“夜光冒险” 4月20日开拔
- ·今日细选:中媒:马斯克已经进主推特,公司CEO战CFO均将去职
- ·PayPal Cashback Mastercard卡降级:可获3%现金返借
- ·Google Play用意2022年11月起藏藏并停止过时App的下载
- ·科技媒体:三星正正在GalaxyZ4上妨碍多项相机改擅
- ·齐球微动态丨苹果又一尾席设念师将去职,地位暂无人替换
- ·网友购买《艾我登法环》真体游戏被市侩坑 便收了个空盒
- ·CNN操做正在CNN+推出当天新删了约18000个安拆量
- ·“基果编纂婴女”昔时涉案人贺建奎出狱?自己接通电话但已经做回应
- ·天下时讯:12妹妹超薄机身、360°翻转触控,齐新Xiaomi Book Air 13翻转本正式宣告
- ·Twitter股价两天涨超30% 马斯克被任命为董预先誓对于仄台做宽峻大改擅
- ·宽慰肝门神经丛的植物魔难魔难批注 超声散焦足艺可用于顺转糖尿病
- ·宽慰肝门神经丛的植物魔难魔难批注 超声散焦足艺可用于顺转糖尿病
- ·天下新新闻丨俞敏洪称10年吃了3000片歇息药
- ·淘宝可能改账号名了 网友:感开感动给我“重新做人”机缘