发布时间：2024-08-22 11:13:22 点击：0
如题
第一部分:
User-agent:
Disallow:/wp-admin/
Disallow:/readme.html
Disallow:/wp-login.php
Disallow:/wp-register.php
Disallow:/trackback/
Allow:/wp-admin/admin-ajax.php
Allow:*.js
Allow:*.CSS
Disallow:/wp-content/cache/Disallow:*/feed/
Disallow:/*?s=
Disallow:/search/
Disallow:*?ver=*
解释:
User-agent: - 这行后面应该有一个值，但这里是空的。通常，它指定了适用的搜索引擎爬虫。空值意味着以下规则适用于所有爬虫。
Disallow:/wp-admin/ - 禁止爬虫访问 /wp-admin/ 目录及其子目录。
Disallow:/readme.html - 禁止爬虫访问 readme.html 文件。
Disallow:/wp-login.php - 禁止爬虫访问 WordPress 登录页面。
Disallow:/wp-register.php - 禁止爬虫访问 WordPress 注册页面。
Disallow:/trackback/ - 禁止爬虫访问 trackback 功能相关页面。
Allow:/wp-admin/admin-ajax.php - 允许爬虫访问 admin-ajax.php 文件。
Allow:*.js - 允许爬虫访问所有 JavaScript 文件。
Allow:*.CSS - 允许爬虫访问所有 CSS 文件。
Disallow:/wp-content/cache/ - 禁止爬虫访问缓存目录。
Disallow:*/feed/ - 禁止爬虫访问所有 feed 页面(GSC报告中的feed索引是啥)。
Disallow:/*?s= - 禁止爬虫访问搜索结果页面。
Disallow:/search/ - 禁止爬虫访问搜索页面。
Disallow:*?ver=* - 禁止爬虫访问包含版本参数的 URL。
这些设置主要是为了保护网站的敏感区域，如管理后台、登录页面等，同时允许爬虫访问一些必要的资源文件（如 JS 和 CSS）。
第二部分:
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Omgili
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: cohere-ai
Disallow: /
解释:
这些屏蔽规则专门针对特定的AI爬虫或机器人： CCBot: 用于 Common Crawl 项目的爬虫。 ChatGPT-User: 可能是 ChatGPT 用户的爬虫。 GPTBot: OpenAI 的 GPT 模型爬虫。 Google-Extended: Google 的扩展爬虫。 Applebot-Extended: Apple 的扩展爬虫。 anthropic-ai: Anthropic 公司的 AI 爬虫。 ClaudeBot: 可能是 Anthropic 的 Claude AI 模型爬虫。 Omgilibot 和 Omgili: Omgili 搜索引擎的爬虫。 FacebookBot: Facebook 的爬虫。 Diffbot: 用于网页内容提取的爬虫。 Bytespider: 字节跳动（TikTok 母公司）的爬虫。 ImagesiftBot: 图像搜索爬虫。 PerplexityBot: Perplexity AI 的爬虫。 cohere-ai: Cohere AI 公司的爬虫。 上面这些就是常见的AI内容生成工具, 它们会抓取我们网站的内容来做训练素材, 或者直接在内容生产的时候调用我们的数据或进行总结, 有时候不想被"偷"内容, 可以直接屏蔽它们的爬虫.
简单总结, That's it.
客户对我们的评价
来自内蒙古刘先生的客户反馈
必须给他们家一个五星好评，技术小哥的活儿好还态度好，不懂的问题都很快帮我们解决了，后续还有相应的配套教程服务，做出来的网站很符合我们的要求，而且后台真的很简单，太给力了后期我们有什么修改的自己也可以自己上手直接操作就可以的，有些还需要技术指导-下。但是一般都是特别简单，指导一下我就懂了，布局合理、清晰，稳定性很好。一看就是专业团队的实力，非常给力!
来自内蒙古张女士的客户反馈
技术工作认真细致，服务热情，工作效率也超快，想大家之所想，的确不错，值得点赞。本来怕网上不太专业,现在看来都是多虑,程序员很耐心,本次合作很愉快也很满意，无论从客服还是技术都体现了你们的服务很专业,网站操作很方便，是我想要的，很诚心的评价。技术工作认真细致，服务热情，工作效率也超快，想大家之所想，的确不错，值得点赞。本来怕网上不太专业,现在看来都是多虑,程序员很耐心,本次合作很愉快也很满意，无论从客服还是技术都体现了你们的服务很专业,网站操作很方便，是我想要的，很诚心的评价。靠谱人。
来自内蒙古陈先生的客户反馈
小程序已经搞完且运营了一小段时间，售后服务特别专业耐心，有问必答，不厌其烦，开始不太熟悉电脑的我也能独立操作后台了，商城功能都是我想要的，希望以后一如既往，太好了，必须给赞，就非常满意，小白都教会了如何使用这套系统，大家也放心订购。感谢。真心的感谢，不耐其烦的给我解答问题。点赞，点赞
来自内蒙古李先生的客户反馈
我都是使用了一段时间才来说几句的，如果你想真正商用，建议选择这家真的不错，或者比起其他家费用高点，但是我觉得很靠谱，运营也放心