加拿大外贸
对于我们从事（或者即将从事）SEO的人员来说，我们的工作存在很多细节问题。服务器结构、301重定向、404错误、标题标签以及其他的各种细节问题。有时候，我们陷入太深，都忘记走出来以一个围观者的身份来看看到底发生了什么事。再加上大多数SEOs都没有参加过专门培训，只是在工作中现场学习，所以毫不奇怪大部分SEOs并不知道搜索引擎是如何运营的。
你最后一次好好坐下来思考像谷歌一样的搜索引擎是如何工作的是什么时候了？对我来说是上个月，在我最近的一篇关于谷歌站长Hangout和否定链接信息的文章中，我就想过这个问题。
但在那之前，老实说8-9年的时间里我的确没有认真想过这个问题。所以今天让我们把这件事搞定吧。这里有关于像谷歌一样的搜索引擎是如何工作的详细解释。虽然说一些专业术语和操作顺序会稍作变化，但必应和雅虎的拟定草案都是相似的。
爬行&索引
当我们说谷歌已经“索引”了一个网站，我们指的是什么呢？对于SEOs而言，我们是用了一个通俗的说法，说明我们在谷歌的 [site:www.site.com] 搜索上看到了这个网站。这表明谷歌数据库的页面已经被添加到了数据库，而技术上，他们是不一定被爬行过的，这也是为什么你会时不时地看到这个网页的原因。
对此结果的相关描述不可用，因为这一站点的robot.txt—learn more。
索引是完全不同的。简而言之，你可以这样看：URLs在被爬行之前已经被发现了，而他们在被索引之前必须得被爬行，或者更准确地说，在谷歌的索引中有一些与词语相关的词语。
我的一个新朋友， EnricoAltavilla，用以下方式描述了这一现象，我认为没有人比他总结地更加到位了，我把他的原话逐字翻译给你：
一个（倒装）索引并不包含文件，但是有一系列的单词或短语，并且每一个都可以为该单词或短语相关的所有文件作参考。
我们通常说，“文件被索引了”，但这只是说“有一些文件相关的词语现在指向了文件。”文件还是以原始格式在存档的地方。
我的一个老朋友兼前谷歌人， VanessaFox,也就此话题继续阐述说，
谷歌知道URLs，也把这些URLs添加到其爬行调度系统中。它复制了列表，并按优先顺序重新排列了URLs列表，并按此顺序进行爬行。
这个优先顺序是基于各种因素的。网页一旦被爬行，谷歌马上就进入另一个算法流程确定是否要在他们的索引中保存该页面。
这就意味着谷歌并不会对他们所知道的任何页面进行爬行，也不会对任何他们爬行过的页面进行索引。
几个重要的值得关注的观点：
1. Robots.txt 只会阻止那些被爬行过的页面。这也是为什么谷歌有时会像上面的例子那样在其搜索结果中显示页面的原因。因为，虽然谷歌能基于类似内部链接一样的东西把页面和词语相关联，它却不能真正抓取该页面的内容。
2. 在页面级别的Noindex命令是不明确的。虽然谷歌能抓取页面以及页面索引相关的词语，它把该页面显示在搜索结果页中也不足为奇。
然而，我也看到过这样的情况，谷歌在他们的公开记录中包含了一个noindexed页面，谷歌也说了，如果有足够的信号表明该页面应该被索引，它也会无视该命令。
未完待续，想了解更多内容请参见下篇。
原文链接：http://www.en-sem.com/thread-6145-1-1.html
评论
期待“搜索引擎是如何运营的（下）”
加拿大电商如题所示，有请联系[email protected] 评论 您好，我们是集研发生产销售一体化的灵感智慧科技有限公司，我们的产品面支持亚马逊ECHO，google home语音控制的WIFI智能灯泡，WIFI智能插座，排 加拿大电商如需样品请来电、来函告知。我们将尽快为您办理！祝您生意兴隆！ 郑州市鸿图纺织有限公司 厂址: 郑州市豫龙镇槐西工业园区织机路 北京分公司: 北京市丰台区南三环中路木樨园桥东
·中文新闻 家长对秘密精英中学入学分数感到愤怒
·中文新闻 悉尼天气：雨什么时候停？