中英文翻译搜索引擎

据库 、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，

所以极具综合性和挑战 性。

通过研究搜索引擎的发展趋势，我们把注意力集中在开发 具有翻译

功能的搜索引擎上（具体项目计划可以参看《多语言翻译搜索引擎商业

计划》

）

。由于时间和技术限制，本次课程实习 只实现了中英文翻译的搜

索引擎原型。

二、

目的和意义

使用搜索引擎，我们只需 要输入少量的关键字，就可以在数秒时间

内得到所需的信息结果集，从而大大提高我们的 工作效率。中英文搜索

引擎中，用户只需要中文关键词，就可以自动翻译成英文关键词进 行查

询。可以同时返回中文查询结果和英文查询结果，当然，该搜索引擎也

支持通常的单语言的查询。

三、

中英文搜索引擎的实现方法

A.

基本实现方法

中英文搜索引擎的执行流程如下：

中文关键词

英文关键词

网页抓取

输出查询结果

金山词霸

在线翻译

?

词语提取：中

文切词

?< /p>

中文词语翻译

成英文

?

< br>英文单词选取

查询结果

处理

?< /p>

比较不同

搜索引擎的

结果

?

按一定规

则将结果排

序

1

．输入中文关键词

2

．中文关键词到英文关键词的翻译

考虑到语料库实现的复杂性，该翻译功能由金山词霸在线翻译系统完

成。根据金山词霸返回的结果页面，提取较为合理的单词，作为英文关键

词。根据输 入的中文短语，金山词霸的返回可能为单个英文单词或者英文

短句，在提取英文关键字的 时候，必须对两种情况分别处理。通过分析返

回页面，找出统一标志域，然后提取该标志 域对应的文本信息。提取出可

能作为关键词的英文单词或者英文语句。比如金山词霸返回 的翻译结果页

面为

，单词和短语的处理 规则如下：

?

单词

结果页面

中单词选取时，由于没有语义信息，主要是根据每

个词的权值 进行选择，

权值的大小和词在翻译结果网页中位置，

以及其

在翻译结果网页中的词频有关。我们认为词频越大，正确地概率越大。

?

短语

对于短语的查询，

返回的是包含短语的句子。

< br>通过对句子求最大公共子

句，找出翻译的结果短语。同样，对于不同的翻译结果， 我们也根据频

率选择作为查询关键字。

3

．网页的抓取

根据中英文关键词，搜索相关页面。

4

．查询结果的返回

返回最为匹配的前

10

条结果。

B.

完整的中英文搜索引擎流程

中文关键 词到英文关键词的转化是该搜索引擎的关键部分，

为了提高搜索引

擎的速率和准确性，建立转化词表，用户输入某个查询词时，先在词表中找

是否已经有 对应的词条，如果没有，则到金山词霸实现在线翻译，并将翻译

的结果加入词表中。这样 ，完整的中英文搜索引擎流程可以用下图表示：