搜索引擎通過(guò)站長(zhǎng)們提供資源，來(lái)滿(mǎn)足用戶(hù)的搜索需求，而站長(zhǎng)通過(guò)搜索引擎將網(wǎng)站的內(nèi)容傳播出去，獲得有效的流量和用戶(hù)。

蜘蛛在抓取過(guò)程中雙方都要遵守一定的規(guī)范，便于搜索引擎抓取，不要使用過(guò)多對(duì)搜索引擎不友好的元素。

蜘蛛抓取過(guò)程中涉及的網(wǎng)絡(luò)協(xié)議有以下四種：

1、HTTP協(xié)議

HTTP是超文本傳輸協(xié)議，在互聯(lián)網(wǎng)上被廣泛應(yīng)用的一種網(wǎng)絡(luò)協(xié)議，客戶(hù)端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)。

用戶(hù)通過(guò)瀏覽器或蜘蛛等對(duì)指定端口發(fā)起一個(gè)請(qǐng)求，HTTP的請(qǐng)求會(huì)返回對(duì)應(yīng)的httpheader信息，可以直接查看到是否成功、服務(wù)?器類(lèi)型、網(wǎng)頁(yè)最近更新時(shí)間等內(nèi)容。

2、HTTPS協(xié)議

HTTPS的安全基礎(chǔ)是SSL，因此加密的詳細(xì)內(nèi)容就需要SSL。

部署HTTPS是需要購(gòu)買(mǎi)SSL證書(shū)上傳到服務(wù)器，網(wǎng)站開(kāi)啟HTTPS：第一可以確保數(shù)據(jù)在傳輸過(guò)程中的安全性，第二用戶(hù)可以確認(rèn)網(wǎng)站的真實(shí)性。

3、UA屬性

UA是HTTP協(xié)議中的一個(gè)屬性。通過(guò)UA讓服務(wù)器可以識(shí)別出用戶(hù)使用的操作系統(tǒng)、瀏覽器等等，根據(jù)相應(yīng)的格式進(jìn)行頁(yè)面的調(diào)整，為用戶(hù)提供更好的瀏覽體驗(yàn)。

4、Robots協(xié)議

搜索引擎在訪問(wèn)一個(gè)網(wǎng)站時(shí)，首先會(huì)查看網(wǎng)站的根目錄下的robots.txt文件，如果網(wǎng)站上不想被搜索引擎抓取的頁(yè)面，可以通過(guò)設(shè)置robots.txt文件告知搜索引擎。

注意：?robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫(xiě)。

有關(guān)robots.txt文件的創(chuàng)建可以參考【robots.txt】