我采用了针对商品页URL进行细致优化的URL rewriter方式，因为做的是英文的网店，我想搜索引擎也会看中URL包含的关键字。我的中心思想是除非必要否则绝对不让GOOGLE索引，所以有点相似的页面我都只让索引最重要的页面，我想GOOGLE也希望这样，访客从搜索引擎查询结果也不希望一个页面的两个版本。第6行阻止了商品放大图页的索引，第7行阻止加入收藏链接的索引，第8行组织产品目录的索引，第九行组织未被URL重写的商品详细页索引，不过第8行已经阻止产品目录页的索引了因为未被URL重写的商品详细页链接只会出现在这里的full vison里。第十行我也搞不懂从哪来的链接貌似访问过商品的链接，总之不希望被GOOGLE索引了，第11行就是加入购物车的链接了，当然没别要索引。第12和13行，由于SHOPEX没有对品牌相关的页面静态优化，我自定了URL重写规则，所以为避免收录同一页面两个链接版本，SO阻止索引。最后一行是未按照我选择的方式优化的产品页链接版本，为什么会出现这样的情况我也不清楚，总之GOOGLE索引了，但我只希望索引我需要的那个版本，SO 阻止索引。目前的ROBOTS.TXT设置是这样了。但是我又做了网站镜像，希望能用镜像域名去做国内的客户，总不能让客户先访问国外线路到网站然后在首页告诉他们从什么域名可以访问我的网站镜像吧，不过我确实不知道怎么阻止子域名被索引。

User-agent: *
Disallow: /syssite/shopadmin/
Disallow: /shopadmin/
Disallow: /syssite/install/
Disallow: /install/
Disallow: /index.php?gOo=goodspic.dwt&goodsid=*
Disallow: /addtofavorites_*.html
Disallow: /catalog/
Disallow: /index.php?gOo=goods_details.dwt&goodsid=*
Disallow: /index.php?gOo=goodsbrowse_act.do&goodsid=*
Disallow: /index.php?gOo=addshopcart.do&goodsid=*
Disallow: /index.php?gOo=goods_brand.dwt&brand_id=*
Disallow: /index.php?gOo=goods_search_list.dwt&gcat=*&brand_id=*
Disallow: /product_*.html