robots.txt 中,我要屏蔽全部蜘蛛,只保留 baidu.combing.com google.com 的蜘蛛怎么做?robots.txt:
# 先屏蔽所有蜘蛛
User-agent: *
Disallow: /
# 允许百度蜘蛛
User-agent: Baiduspider
Allow: /
# 允许必应Bing蜘蛛
User-agent: bingbot
Allow: /
# 允许谷歌蜘蛛
User-agent: Googlebot
Allow: /