X
活动推荐

阿里云高性能云主机2折293元/年

企业级性能云服务器限时2折起
新用户5折爆款服务器会场
查看详情 293元/年
阅读模式:

robots.txt 协议的安全配置

查看:5318  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
linux时间戳有趣的情人节秒1234567890   阅读:4616centos7开启交换内存   阅读:9071HTTP 1.1 协议详解   阅读:7565linux php7编译安装mongodb扩展   阅读:6976面试的时候回去等通知,等电话的真实意思   阅读:20058centos 7 忘记root密码   阅读:3990网站局部小图片优化-base64编码图片   阅读:8073linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:13483shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:7383最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:9327关于PHP程序员技术职业生涯规划   阅读:1880nginx安装mysql和json模块   阅读:3223最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:11691爱编程,也爱健康   阅读:3425centos 7 开启网络   阅读:5202centos 7搭建zabbix3.4   阅读:4972小米手机端商城rem适配原理   阅读:5945栈和堆的区别   阅读:4175php 读取和设置redis的键值   阅读:6352php压缩页面的html代码一行显示   阅读:5985php打印九九加法表   阅读:8091web性能测试工具ab的测试方法   阅读:3888shell脚本批量删除几天前的文件   阅读:7752最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:9327php+redis实现消息队列   阅读:11212mysql5.7主从同步配置   阅读:2833栈和堆的区别   阅读:4175linux top命令详解   阅读:7573php生成二维码   阅读:4922网站性能优化-页面静态缓存   阅读:4716mysql5.7开启sql日志的配置   阅读:7373centos 7搭建zabbix3.4   阅读:4972web性能测试工具ab的测试方法   阅读:3888Mysql在大型网站的应用架构演变   阅读:3806php swoole搭建简单的聊天室   阅读:2122比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4270分享:淘宝技术这十年   阅读:3991php冒泡排序法   阅读:11794HTTP 1.1 协议详解   阅读:7565csv文件一键导入数据到mysql数据库   阅读:5629简单的DOS攻击之死亡之ping详解   阅读:40028shell发送邮件脚本   阅读:5371一步步带你,如何网站架构   阅读:3391php删除一个文件夹内的所有文件夹和文件   阅读:4037php压缩页面的html代码一行显示   阅读:5985封装php redis缓存操作类   阅读:7485网站性能优化-页面静态缓存   阅读:4716php swoole搭建简单的聊天室   阅读:2122shell脚本统计当前服务器并发连接数   阅读:5862简单的DOS攻击之死亡之ping详解   阅读:40028