產品搜索
phpweb專用robots通用設置爬蟲協議
Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
以下是phpweb通用robots.txt文件內容，各站可以根據下面設置具體調整
# robots.txt generated at http://www.discountmoviesale.com
User-agent: *
Disallow: /advs/admin
Disallow: /base/admin
Disallow: /comment/admin
Disallow: /dingcan/admin
Disallow: /down/admin
Disallow: /feedback/admin
Disallow: /job/admin
Disallow: /member/admin
Disallow: /menu/admin
Disallow: /news/admin
Disallow: /page/admin
Disallow: /photo/admin
Disallow: /product/admin
Disallow: /shop/admin
Disallow: /webmall/admin
Disallow: /kedit/
Disallow: /service/admin
Disallow: /tools/admin
Disallow: ../../""
Disallow: ../../-1
Allow: /comment/
Allow: /webmall/
Allow: /news/
Allow: /down/
Allow: /service/
Allow: /member/
Sitemap: ../../sitemap.xml
