4444亚洲人成无码网在线观看,精品亚洲成AV人片在线观看WW,特级西西人体444WWW高清大...

<button id="bvn2d"></button>
  • <dd id="bvn2d"><track id="bvn2d"><video id="bvn2d"></video></track></dd>

  • <s id="bvn2d"></s>
    <progress id="bvn2d"></progress>
    <li id="bvn2d"></li><s id="bvn2d"><object id="bvn2d"></object></s>

    Frame
    產品搜索
    phpweb專用robots通用設置爬蟲協議
    作者:管理員    發布于:2018-10-07 10:28:51    文字:【】【】【

    Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。

    以下是phpweb通用robots.txt文件內容,各站可以根據下面設置具體調整

    # robots.txt generated at http://www.discountmoviesale.com 

    User-agent: *
    Disallow: /advs/admin
    Disallow: /base/admin
    Disallow: /comment/admin
    Disallow: /dingcan/admin
    Disallow: /down/admin
    Disallow: /feedback/admin
    Disallow: /job/admin
    Disallow: /member/admin
    Disallow: /menu/admin
    Disallow: /news/admin
    Disallow: /page/admin
    Disallow: /photo/admin
    Disallow: /product/admin
    Disallow: /shop/admin
    Disallow: /webmall/admin
    Disallow: /kedit/
    Disallow: /service/admin
    Disallow: /tools/admin
    Disallow: ../../"" 
    Disallow: ../../-1
    Allow: /comment/
    Allow: /webmall/
    Allow: /news/
    Allow: /down/
    Allow: /service/
    Allow: /member/
    Sitemap: ../../sitemap.xml
    腳注信息
     Copyright(C)2009-2012 上海百寬網絡科技有限公司版權所有  滬ICP備17034958號-3
    電話(Tel):021-54144728、54144276 傳真(Fax):021-54144276 E-mail:
    webmaster@baikuan.com
    地址: 中國上海市閔行區古美西路631弄208號102室 ( 201102 )
    Copyright (C) 1998-2008
    BaiKuan Network All Rights Reserved.
    4444亚洲人成无码网在线观看,精品亚洲成AV人片在线观看WW,特级西西人体444WWW高清大...