SEO中的robots文件这行是啥意思

不容许抓取 Seo基础robots写法百度文库可以看


■网友
谢邀,*代表URL任意内容*?* 代表URL中任意位置含有"?"的选项那么diallow:/*?* 代表的就是禁止搜索引擎爬虫访问任何URL带?号的路径。
■网友
代表的就是禁止搜索引擎爬虫访问任何URL带?号的路径。

■网友
谢邀!!!!这段话的意思是屏蔽 带?的动态页面被蜘蛛抓取
就是不让蜘蛛抓取动态页。因为动态页链接通常是以 "?"后面一大串字符的形式体现的。

■网友
含义为屏蔽所有动态URL

■网友
禁止抓取站内带有?的URL 一般是动态的链接 一般 站内URL做了 伪静态 怕蜘蛛抓取到 以前的动态链接 就这样写 同时 这样写禁止抓取了搜索结果页面. 一般国内cms 站内搜索结果都是动态URL
■网友
【SEO中的robots文件这行是啥意思】 搜索引擎申明文档。搜索引擎过来优先读取robots,读取对应的搜索引擎授权,比如允许抓取那些页面或者栏目,不容许抓取那些页面或者栏目

■网友
全部带问号的禁止爬行,防止注入的一些快照信息被劫持后爬行
ps 瞎说的不懂!


    推荐阅读