25
2022
05

禁止yisouspider

robots文件实现方式

1) 完全禁止yisouspider抓取：
    User-agent: yisouspider
    Disallow: /

2) 禁止yisouspider抓取指定目录
    User-agent: yisouspider
    Disal

作者：ttchanet@126.com | 分类：技术文档 | 浏览：369 | 评论：0
‹‹ 1 ››