在静态页面上使用动态参数,会造成spider多次和重复抓取 怎么办?

在静态页面上使用动态参数,会造成spider多次和重复抓取 怎么办?
这样能解决吗? 我试了一下 可是百度蜘蛛还是会抓取我的动态页面!
User-agent: *
Disallow: /
← 上一篇: 下一篇: →