通常的robots屏蔽就好了,具体如下所示:
User-agent: *
Disallow: /abc/
但是紧接着方法都被一一放弃了,因为统统行不通。因为他们的网站所有二级目录和主目录在ftp中都是在同一文件夹下,然后我又总结了他们网站出现的问题。
1、网站不带www的二级域名已经收录过万,且每日都有蜘蛛爬取,但带www的主域名至今只收录二三十个,且还有下降的趋势,所以想让网站收录带www的主域名页面。
2、网站所有页面在同一个文件夹下无法利用robots屏蔽路径方式屏蔽页面。
虽然我在百度查询了很久但是却并未查到过多有用信息,大多都是和我第一次给出的答案一样,但最后我们还是想出了办法解决了这个问题,那关于屏蔽二级目录收录问题,总结了以下几点可供选择:
1、如果需要屏蔽的页面和主页面是在不同的文件夹下我们可以直接采取我上面提到的直接robots文件屏蔽,写法例如Disallow: /abc/之类的直接robots屏蔽方法。
2、无法利用robots禁止搜索引擎收录某个二级域名的,最好的方法就是301,对于有用的页面将所有的二级目录类域名重定向,无用的就直接删除。
3、与目录分配到不同的空间下利用robots屏蔽。
4、个判断程序,让要屏蔽的二级域名下面有一个robots.txt文件。abc.xxx.com/robots.txt,然后在利用robots屏蔽。此方法我没有试过我是看到夫唯老师很久前给别人的一个建议,就理论而言是可以行的通的。
对于在网站建设中如何避免此类不需要收录的二级域名我罗列了一下几点如果有不完善的欢迎大家补充。
1、虚拟主机时空间自带了二级域名地址且地址已经收录的话最直接的办法就是站内开放的链接上要统一url规范不要给不想收录的二级域名任何的入口。
2、须分二级目录时,将主目录和二级目录分开在不同的文件夹。
3、名解析时候直接采用三W的的域名采用主域名。
以上就是对屏蔽已被百度收录的不必要二级目录的方法全部内容的介绍,更多内容请继续关注!免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
更新日志
- 张芸京.2016-失败的高歌【泡耳音乐】【WAV+CUE】
- 天籁女声《2024第31届上海国际高端音影展纪念CD》[WAV+CUE][1.1G]
- 姚斯婷 《敢爱敢做》头版限量编号24K金碟[低速原抓WAV+CUE][1.2G]
- 雷婷 《把爱留在昨天》紫银合金AQCD[低速原抓WAV+CUE][1.1G]
- 董文华2024-《精选30年·长城长HQ》头版限量[WAV+CUE]
- 柏菲·魏松2024-《跟你走》限量开盘母带ORMCD[WAV+CUE]
- 柏菲·甘雅丹《雅鲁藏布》限量开盘母带ORMCD[WAV+CUE]
- 孙露《明天你是否依然爱我》1:1母盘直刻[低速原抓WAV+CUE][1G]
- 群星2024《龙年精选.音乐盛宴》纯银CD[WAV+CUE][1.1G]
- 童丽《君再来VI》妙音首版[WAV+CUE][1G]
- 柏菲·李跃君2024-《寂寞公路》限量开盘母带ORMCD[WAV+CUE]
- 柏菲·古璇2024-《东山飘雨西山晴》限量开盘母带ORMCD[WAV+CUE]
- 群星《2024好听新歌38》AI调整音效【WAV分轨】
- 台湾荷东《周末狂热1》[WAV+CUE][1.1G]
- 群星《Hi.Fi.怀旧金曲.Vol.1》[低速原抓WAV+分轨][996M]