重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
其实很多文件是没有必要屏蔽的,因为根本就抓不到如:
创新互联公司,专注为中小企业提供官网建设、营销型网站制作、响应式网站开发、展示型成都网站制作、做网站等服务,帮助中小企业通过网站体现价值、有效益。帮助企业快速建站、解决网站建设与网站营销推广问题。
Disallow: /CACHE/
Disallow: /DATA/
Disallow: /FUNCTION/
Disallow: /INCLUDE/
Disallow: /LANGUAGE/
Disallow: /c_custom.asp
Disallow: /c_option.asp
Disallow: /install.asp
还有没有必要屏蔽的
Disallow: /IMAGE/ (图片文件夹屏蔽后就没有图片来的流量了,除非你图片太多成为服务器压力)
Disallow: /XML-RPC/ (ping服务的文件夹,没有必要禁)
Disallow: /sitemap_wap.xml (wap访问的地图文件)
Disallow: /wap.asp(你不想要wap的访问流量吗)
自己建一个 或者搜ZBLOG robots.txt 有专门帮你写robots.txt 的网站 根据提示写好规则够下载下来robots.txt 传到你空间的根目录就OK了
robots.txt文件没问题,禁止的都是需要禁止的内容
Disallow: /ADMIN/ 这句话就是禁止收录所有管理页面的,当然也包括管理登录页面了