最新消息:Done.cc 大杂烩。

标签:robots.txt

robots.txt和Robots META标签

Huishu 17年前(2007-10-19)

搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了...