seo实战密码(电子版)

（备注：由于

seo

实战密码电子书过大，上传 不了，

本人先上传部分，如若需要者可联系我，我发给你！

）< /p>

2.4

搜索引擎工作原理简介

搜索引擎工作 过程非常复杂，接下来的几节我们简单介绍搜索引擎是怎样实现网页排

名的。这里介绍的 内容相对于真正的搜索引擎技术来说只是皮毛，不过对

SEO

人 员已经足

够用了。

搜索引擎的工作过程大体上可以分为三个阶段。

（

1

）

（

2

）

（

3

）

2.4.1

爬行和抓取

爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。

1.

蜘蛛

搜索引擎用来爬行和访问页面的程序被成为蜘蛛（

spider

）

，也称为机器人

（

< br>bot

）

。

< br>搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出

页面访 问请求后，服务器返回

HTML

代码，蜘蛛程序把收到的代码存 入原始页面

数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。

蜘蛛访问任何一个网站时，都会先访问网站根目录下的

文件。如果

文件禁止 搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁

止的网址。

和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日< /p>

志文件中看到搜索引擎的特定代理名称，从而辨别搜索引擎蜘蛛，下面列出常见

Baiduspider +

（

+/search/

）百度蜘蛛< /p>

雅虎中国蜘蛛

英文雅虎蜘蛛

Google

蜘蛛

< br>微软

Bing

蜘蛛

搜狗蜘蛛

搜搜蜘蛛

有道蜘蛛

爬行和抓取：

搜索引擎蜘蛛通过跟踪链接访问网页，

获得页面

HT ML

代码存

入数据库。

预处理：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处

理 ，以备排名程序调用。

排名：用户输入关键词后，排名程序调 用索引库数据，计算相关性，然后安

一定的格式生成搜索结果页面。