日本老熟妇maturebbw,最近中文mv字幕免费高清在线7,yy6080久久伦理一区二区,中文字幕人妻av一区二区,成人免费无码av,亚州av综合色区无码一区,日本xxwwwxxxx18,入室强伦轩人妻电影
284292114@qq.com 中國站
行業新聞 網站建設 網絡推廣 首頁>新聞中心>網絡推廣

Google 頁面抓取的工作原理

時間:2022-05-26   訪問量:0

Google SEO搜索引擎優化初學者指南,處理頁面抓取板塊包含以下兩方面內容。

一、更加有效地使用robots.txt文件 

1、用robots.txt文件來限制抓取

robots.txt文件主要用來告知搜索引擎它們是否有權抓取您網站的特定部分。

 

該文件一定要嚴格的命名為robots.txt , 并被放置 在網站的根目錄下。

 

您可能不希望您的網站中的某些頁面被抓取 , 也許這些網頁在搜索 結果中出現對于用戶來說并沒多大用處。如果您想防止搜索引擎 抓取這些頁面 , 谷歌網站站長工具中有一個非常好用的robots.txt生 成器 , 它可以幫您生成這個文件。需要注意的是 , 如果您的網站使 用子域名而您不想被抓取的某些網頁恰好在一個特定子域名下 , 您 需要為那個子域名創建一個單獨的robots.txt文件。如果您想了解 更多的關于robots.txt的信息 , 建議您參閱網站管理員幫助中心的 關于使用robots.txt文件的指南。

還有很多別的方法可以保證您的網站的某些內容不出現在搜索結 果中 , 比如說給您的robots元標簽加上“NOINDEX”標識 , 使用 .htaccess文件對需要保護的目錄加密 , 還可以使用網站站長工具 將已經被抓取的網頁從搜索結果中移除。

 

*佳使用方法:

1、對敏感的內容使用更加安全的方法

您可能不會特別放心僅僅使用robots.txt對敏感的或者保密的內容進行屏蔽。其中一個原因是如果 網絡上還有一些鏈接鏈向這些URL時(比如引用頁日志) , 搜索引擎仍然有可能跟蹤抓取到您希望屏 蔽的URL , 當然 , 它們只會展示您的URL地址信息 , 而不會展示標題或者內容摘要。一些無賴的搜 索引擎可能并不會自覺遵守機器人排除標準從而違反您的robots.txt的說明。還有其他原因 , 比如一 個好奇的用戶可能查看了您robots.txt文件中的目錄和子目錄 , 并對您不愿對外界展示的內容的URL 進行了猜測。使用.htacess文件對內容進行密碼保護或者對內容加密是更加安全的措施。

請注意避免:

允許您網站中一些類似搜索結果的頁面被抓取到(用戶不喜歡剛離開一個搜索結果頁面就進入了 另一個搜索結果頁面 , 這對他們來說沒有什么價值) ;允許大量自動生成的、有相同或極為相似內容的網頁被抓取到 , 用戶會想 : “難道這100000頁近乎相同的網頁真的應該在搜索引擎的索引中出現嗎?”; 允許那些因提供代理服務而生成的URL被抓取 。

 

二、謹慎使用rel=“nofollow” 

1、用nofollow打擊垃圾留言

如果您把某一鏈接的“rel”屬性設置成“nofollow” , 這意味著您是 在向Google傳達這樣的信息 : 您不希望Google繼續跟蹤抓取這些 特定鏈接所指向的頁面 , 并且也不希望將自己網頁的聲譽傳給這些 鏈接指向的網頁。實現這樣的效果其實很簡單 , 您只需將 rel=“nofollow”放置在鏈接的錨標簽里即可。

 

我應當在什么情況下使用nofollow呢?如果您網站的博客開通了留言 功能 , 這些留言中含有的鏈接會向一些您根本就不了解也無意推薦 的網站傳遞您的聲譽。博客的留言本經常被垃圾留言所侵擾。

 

Nofollow這些用戶生成的鏈接能夠確保您不會將自己好不容易才積 累起的聲譽傳遞給其他的垃圾網站。

 

2、自動給留言板“設置為nofollow”

許多博客軟件包會自動nofollow用戶的留言 , 即使沒有提供這樣的 自動功能 , 您也完全可以手動調整成這樣。同樣的情形還適用于您 網站的其他由用戶生成的內容 , 比如留言簿、論壇、引用通告等。 如果某些第三方(比如您的網站信任此留言者)添加的鏈接得到您的 肯定的話 , 那么您就沒有必要對這些鏈接使用nofollow。但是必須 明確的是 , 如果您鏈向了某些被Google認為是垃圾的網站的話 , 那 么您自己網站的聲譽也會受到影響。網站管理員中心向您提供了更 多關于怎樣防止垃圾留言的小建議 , 比如使用CAPTCHAs(輸入驗證碼環節)和啟用留言監控功能等。 

 

3、關于為特定的內容或者頁面上的所有鏈接使用nofollow

Nofollow的另一個用途就是 , 當您在寫文章并引用某個網站 , 但是 并不想把您的聲譽傳遞給它。例如 , 您正在撰寫一篇關于垃圾留言 的博客文章并打算揭發一個*近經常在您的博客上惡意留言的網 站。為了籍此提醒其他的網站提高警惕 , 您把該網站的鏈接包含在 了您的文章中 ; 但是 , 您顯然不想將自己網站的聲譽傳遞給這個作 惡的網站。那么這時候使用nofollow再合適不過了。

 

 

 





Author: globalsir (www.globalsir.com)
版權屬于: 外貿先生
版權所有,轉載時必須以鏈接形式注明作者和原始出處及本聲明。

服務咨詢
1對1咨詢,專業客服為您解疑答惑
聯系銷售
15899750475
在線咨詢
聯系在線客服,為您解答所有的疑問
主站蜘蛛池模板: 国产色综合久久无码有码| 果冻传媒和麻豆精东的品牌介绍 | 激情综合亚洲色婷婷五月app| 国产成人a∨激情视频厨房| 亚洲色成人四虎在线观看| 成人欧美一区二区三区在线| 中年熟妇的大黑p| 香港三级澳门三级人妇| 国产欧美一区二区精品| 欧美a级毛欧美1级a大片免费播放 热99re久久精品这里都是精品 | 国产成人精品日本亚洲77上位| 亚洲av无码av在线播放| 精品免费国产一区二区| 亚洲精品久久久久久久不卡四虎| 亚洲精品国产一区二区三区在线观看 | 日韩三级电影| 娇妻穿丁字裤公交车被c| 日本免费| 最近免费字幕中文大全在线观看| 国产裸体裸拍在线观看| 亚洲国内精品自在线影院| 免费a级毛片出奶水| 亚洲精品久久片久久久久| 公的浮之手中字1| 国产在线无码视频一区二区三区| 天天燥日日燥| 果冻传媒杨丽娟在线播放| 农田丰满艳肉妇hd| 久久午夜伦鲁片免费无码| 天堂网www在线| 国产精品中文色婷婷综合蜜桃视频| 亚洲宅男精品一区在线观看| 久久天天躁狠狠躁夜夜av| 亚洲欧美国产va在线播放| 日本三a级做爰片啊荒野| 最近中文字幕完整版2019| 在线视频免费观看www动漫| 国产精品乱码在线观看| 精品高朝久久久久9999| 一女被多男玩喷潮视频| 在线天堂资源www中文|