Web Crawler

数据库规模 Spider级别 Meta Tag 支持 帧页支持 图像地图支持 Alt 标签支持 HTML 声明支持 Url 搜索功能 嵌入目录

约1千万 Url 浅 Yes　 No　 No　 No　 No　 Yes　 Yes

登录原理

Web Crawler 在搜索引擎中是很独特的，它是最老的也是最小的引擎，
虽然不久is 前与 Excite 进行了合并，但它仍保持独立的运作。

Web Crawler 对登录原则的说明如下： (see ref.)

　

提供网络搜索是我们的业务，而作弊行为使这一业务难以正常而准确的进行，为
了 使索引数据清洁而准确，如果你的网页过分重复关键字，标题，我们将删除
你的网 页文件。

Web Crawler 是第一个提出将多重标题视为作弊的搜索引擎。

Web Crawler 可能索引网页上的所有文本 (超过 1 m)，不支持框架视图，
图像地图，及 alt 标签。

　

排名规则

Web Crawler 对其排名规则是这样叙述的： (see ref.)

　

1.使用高度概括的网页标题标签。标题中含"Homepage" 或"Home Page WWW" 的网页的排名不会很好。
2.确保主页是整个网站的概括。

 

请参考以下这两个例子：

Northern Webs - North Idaho's Premier Web Design Studio

Northern Webs, North Idaho's experienced Web Design studio. Similar Pages
http://www.northernwebs.com/

71%   

　

Idaho Department of Law Enforcement Home Page

Police Departments Sheriff Departments Other Departments Attention Patch
Collectors For an Idaho State Police Patch, please send a self-addressed,
stamped envelope (SASE) and $5.00 (U.S. currency) to: Idaho State Police
Association attn: Tom Wilson 3056 Elder St Boise, ID 83705 USA Please
allow 4-6 weeks for delivery Similar Pages
http://www.state.id.us/dle/dle.htm

搜索引擎之第三法则: 如果你不按他们的要求办事，搜索引擎也不会对你的网页客气。

　

总结

Web Crawler 的spider 是一个浅层搜索spider，因此有必要提交基本
的网页。

尽管 Web Crawler 相对较小且由 Excite提供支持，你在登录时仍不得
有半点马虎。