時間:2015-07-23IMCART介紹如何為外貿(mào)獨立B2C商城網(wǎng)站創(chuàng)建robots規(guī)則
Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范,這是網(wǎng)站管理員和搜錄引擎對話的一個通道。在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內(nèi)容。
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
創(chuàng)建robots協(xié)議,首先,要先建立一個空白文本文檔(記事本),然后命名為:robots.txt。文檔根據(jù)需要選擇以下寫法:
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為 后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖
建立好之后再用flashFXP上傳到根目錄上面。常規(guī)的根目錄一般是wwwroot和web。
也許這么說你還不懂得具體怎么操作,下面就以imcart中如何使用robots.txt為例為您詳細解答。
在登陸后臺系統(tǒng)后找到常用工具中插件管理功能,在插件頁面的免費插件查找關(guān)鍵詞:robots,就出現(xiàn)了robots在線編輯1.5.
點擊運行,便跳轉(zhuǎn)到robots.txt編輯頁面。
在這個頁面可以快速選擇開啟收錄的瀏覽器引擎范圍或者關(guān)閉收錄。當然你還可以使用點擊“編輯收錄”進行自定義。
在點擊“編輯收錄”后,出現(xiàn)imcart的在線編輯頁面。關(guān)于這一點,imcart具有自己獨特的優(yōu)勢??梢圆恍枰⒁粋€新的文檔或者記事本,然后再通過flashFXP上傳到根目錄上面,可通過在線收錄編輯直接定義,更加簡單、快捷,不懂robots協(xié)議創(chuàng)建的商家也可以快速上手。
編輯完成之后點擊“確認提交”就完成了robots.txt的編輯。
下圖為imcart網(wǎng)站的robots協(xié)議:
其表示的robots協(xié)議:
User-agent: *Allow: /
是指可以被所有的搜索引擎收錄;
Sitemap: http://www.imcart.com/sitemap.xml
是指:這個頁面是網(wǎng)站地圖。網(wǎng)站中不是所有的東西都需要被收錄的,就如網(wǎng)頁地圖。
需要注意的是,文檔文件名稱不能寫錯,而且必須小寫,后綴必須是.txt.文件必須放在網(wǎng)站的根目錄,比如:http://www.imcart.com/robots.txt,要可以訪問。并且文件內(nèi)容語法要正確。對于新建立還未完善的網(wǎng)站,建議暫時屏蔽Google的收錄。等網(wǎng)站信息、功能完備后再對其開放。
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。
創(chuàng)建robots協(xié)議,首先,要先建立一個空白文本文檔(記事本),然后命名為:robots.txt。文檔根據(jù)需要選擇以下寫法:
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為 后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖
建立好之后再用flashFXP上傳到根目錄上面。常規(guī)的根目錄一般是wwwroot和web。
也許這么說你還不懂得具體怎么操作,下面就以imcart中如何使用robots.txt為例為您詳細解答。
在登陸后臺系統(tǒng)后找到常用工具中插件管理功能,在插件頁面的免費插件查找關(guān)鍵詞:robots,就出現(xiàn)了robots在線編輯1.5.
點擊運行,便跳轉(zhuǎn)到robots.txt編輯頁面。
在這個頁面可以快速選擇開啟收錄的瀏覽器引擎范圍或者關(guān)閉收錄。當然你還可以使用點擊“編輯收錄”進行自定義。
在點擊“編輯收錄”后,出現(xiàn)imcart的在線編輯頁面。關(guān)于這一點,imcart具有自己獨特的優(yōu)勢??梢圆恍枰⒁粋€新的文檔或者記事本,然后再通過flashFXP上傳到根目錄上面,可通過在線收錄編輯直接定義,更加簡單、快捷,不懂robots協(xié)議創(chuàng)建的商家也可以快速上手。
編輯完成之后點擊“確認提交”就完成了robots.txt的編輯。
下圖為imcart網(wǎng)站的robots協(xié)議:
其表示的robots協(xié)議:
User-agent: *Allow: /
是指可以被所有的搜索引擎收錄;
Sitemap: http://www.imcart.com/sitemap.xml
是指:這個頁面是網(wǎng)站地圖。網(wǎng)站中不是所有的東西都需要被收錄的,就如網(wǎng)頁地圖。
需要注意的是,文檔文件名稱不能寫錯,而且必須小寫,后綴必須是.txt.文件必須放在網(wǎng)站的根目錄,比如:http://www.imcart.com/robots.txt,要可以訪問。并且文件內(nèi)容語法要正確。對于新建立還未完善的網(wǎng)站,建議暫時屏蔽Google的收錄。等網(wǎng)站信息、功能完備后再對其開放。
本篇文章“IMCART介紹如何為外貿(mào)獨立B2C商城網(wǎng)站創(chuàng)建robots規(guī)則”由中恒天下編輯整理。
如需轉(zhuǎn)載請注明來源:http://m.jiudecq.cn/article/2669.html
如需轉(zhuǎn)載請注明來源:http://m.jiudecq.cn/article/2669.html