可播放的免费男同gay,男人添女人下部全视频,天堂资源在线官网,大地资源中文第二页在线观看

歡迎訪問中恒天下,我們?yōu)槟峁﹥?yōu)質(zhì)的產(chǎn)品和完善的售后服務(wù),公司致力于:外貿(mào)網(wǎng)站建設(shè),美國服務(wù)器,外貿(mào)空間,海外空間等服務(wù)!

時間:2015-07-23IMCART介紹如何為外貿(mào)獨立B2C商城網(wǎng)站創(chuàng)建robots規(guī)則

Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范,這是網(wǎng)站管理員和搜錄引擎對話的一個通道。在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內(nèi)容。

當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。

創(chuàng)建robots協(xié)議,首先,要先建立一個空白文本文檔(記事本),然后命名為:robots.txt。文檔根據(jù)需要選擇以下寫法:
User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為 后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖

建立好之后再用flashFXP上傳到根目錄上面。常規(guī)的根目錄一般是wwwroot和web。
也許這么說你還不懂得具體怎么操作,下面就以imcart中如何使用robots.txt為例為您詳細解答。

在登陸后臺系統(tǒng)后找到常用工具中插件管理功能,在插件頁面的免費插件查找關(guān)鍵詞:robots,就出現(xiàn)了robots在線編輯1.5.

imcart介紹robots


點擊運行,便跳轉(zhuǎn)到robots.txt編輯頁面。

imcart介紹robots


在這個頁面可以快速選擇開啟收錄的瀏覽器引擎范圍或者關(guān)閉收錄。當然你還可以使用點擊“編輯收錄”進行自定義。

imcart介紹robots


在點擊“編輯收錄”后,出現(xiàn)imcart的在線編輯頁面。關(guān)于這一點,imcart具有自己獨特的優(yōu)勢??梢圆恍枰⒁粋€新的文檔或者記事本,然后再通過flashFXP上傳到根目錄上面,可通過在線收錄編輯直接定義,更加簡單、快捷,不懂robots協(xié)議創(chuàng)建的商家也可以快速上手。

imcart介紹robots


編輯完成之后點擊“確認提交”就完成了robots.txt的編輯。
下圖為imcart網(wǎng)站的robots協(xié)議:

imcart介紹robots


其表示的robots協(xié)議:
User-agent: *Allow: /
是指可以被所有的搜索引擎收錄;
Sitemap: http://www.imcart.com/sitemap.xml
是指:這個頁面是網(wǎng)站地圖。網(wǎng)站中不是所有的東西都需要被收錄的,就如網(wǎng)頁地圖。

需要注意的是,文檔文件名稱不能寫錯,而且必須小寫,后綴必須是.txt.文件必須放在網(wǎng)站的根目錄,比如:http://www.imcart.com/robots.txt,要可以訪問。并且文件內(nèi)容語法要正確。對于新建立還未完善的網(wǎng)站,建議暫時屏蔽Google的收錄。等網(wǎng)站信息、功能完備后再對其開放。

本篇文章“IMCART介紹如何為外貿(mào)獨立B2C商城網(wǎng)站創(chuàng)建robots規(guī)則”由中恒天下編輯整理。
如需轉(zhuǎn)載請注明來源:http://m.jiudecq.cn/article/2669.html