谷歌开源robots.txt正推动官方网络爬虫标准

查看数: 1059 | 评论数: 1 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2019-7-2 16:39

正文摘要:

7月2日 消息:据外媒报道,谷歌希望将几十年前的拒绝蜘蛛协议 (REP)变成为官方互联网标准。为了推动该项计划,谷歌正在制作自己的 robots.txt 解析器开源。 据venturebeat介绍,早在 1994 年,荷兰软件工程师Ma ...

回复

木木子 发表于 2022-1-9 10:39:40
&lt;script type=&quot;text/javascript&quot;&gt;var jd_union_pid=&quot;608851640356767048&quot;;var jd_union_euid=&quot;&quot;;&lt;/script&gt;&lt;script type=&quot;text/javascript&quot; src=&quot;//ads-union.jd.com/static/js/union.js&quot;&gt;&lt;/script&gt;