球探体育比分app苹果版|新浪体育比分直播。|

<label id="kjqdz"></label>
<td id="kjqdz"></td>
    <meter id="kjqdz"><menuitem id="kjqdz"><acronym id="kjqdz"></acronym></menuitem></meter>

      <i id="kjqdz"><th id="kjqdz"><tbody id="kjqdz"></tbody></th></i>
      <td id="kjqdz"></td>

        圖片動畫
        圖片動畫
        新聞內容
        什么是robots文件
        發布時間 2012-07-10

                搜索機器人又叫搜索蜘蛛,在訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt文件。如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就會沿著鏈接抓取。
               
                 robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。如:http://www.qlzgrc.shop/robots.txt
               
                只有在需要禁止抓取某些內容時,寫robots.txt才有意義。有的服務器設置有問題,robots文件不存在時會返回200狀態碼及一些錯誤信息,而不是404狀態碼,這有可能是搜索機器人錯誤解讀robots文件信息,所以建議就算允許抓取所有內容,也要建一個空的robots文件。

        [ 點擊數:] [打印本網頁] [關閉本窗口]
        相關內容
         
         
         
         
        圖片動畫

        版權所有 蘭州金石網絡科技有限公司 任何公司及個人不得復制,違者將依法追究責任,特此聲明。
        公司地址:蘭州市城關區慶陽路勝利賓館西樓410室
        咨詢電話:0931-8454481    13919445350
        公司法律顧問:北京高度律師事務所 汪紅梅律師 

        球探体育比分app苹果版

        <label id="kjqdz"></label>
        <td id="kjqdz"></td>
          <meter id="kjqdz"><menuitem id="kjqdz"><acronym id="kjqdz"></acronym></menuitem></meter>

            <i id="kjqdz"><th id="kjqdz"><tbody id="kjqdz"></tbody></th></i>
            <td id="kjqdz"></td>

              <label id="kjqdz"></label>
              <td id="kjqdz"></td>
                <meter id="kjqdz"><menuitem id="kjqdz"><acronym id="kjqdz"></acronym></menuitem></meter>

                  <i id="kjqdz"><th id="kjqdz"><tbody id="kjqdz"></tbody></th></i>
                  <td id="kjqdz"></td>

                    澳客网竞彩篮球比分直播 什么是指数年线 快乐双彩今晚开奖结 手机足球篮球即时比分直播 福建快三 海南麻将技巧十句口诀 今日竞彩足球推荐分析 雪缘园斯诺克即时比分直播网 篮球比分直播网 浙江飞鱼 31选7今天开奖结果 福建 东北麻将打1元怎样算账 江苏十一选五玩法介 最近世界杯比分情况 11选5顺口溜 澳洲篮球比分直播