検索エンジンと言う名の蒸気機関

インターネットがこれほど普及した１つの理由にハイパーリンクがある。
スタンドアローンな情報を結び、奥行きを持たせ、人々の交流をも可能にした。
そのハイパーリンクをあつめた、リンク集を人々は作り、検索可能にするのにさほど時間はかからなかった。
サーチエンジンとは本来ロボット形サーチエンジンの事を意味します。
ネットワークの基礎WWWとHTTPが構築されたのとほぼ同時に1993年にマシューグレイによって発明され、
そしてその約一年後２人の学生によってYahoo!が発明された。原型は２人の個人的なリンク集であった。
当時yahoo!はサーチエンジンとみなされず、サーチ可能なディレクトリ（Searchable Directory）であるとみなされ、
今日、ディレクトリ型サーチエンジンと呼ばれているものは、yahoo!を模倣したサーチエンジンを意味します。

ロボット型サーチエンジンですが、原理と構造は以下の通りになってます。

（１） クローリング（Crawling）
（２） インデキシング（Indexing）
（３） サーチング（Searching）
（４） ディスプレイ（Display）

クローリングとは、ロボットまたはスパイダーと呼ばれる検索マシンがネットワークのリンクを辿り、
データをサーチエンジンのデータベースサーバにコピーしダウンロードする仕組みで
ロボット型サーチエンジンの基礎をなす機能です。

インデキシングとはロボットがダウンロードしてきたデータを階層的にインデックス化するプロセスです。

サーチングとは文字どおりインデキシングされたデータを検索するプロセスです。

ディスプレイとはサーチングされたデータを反映する機能でプラウザなどに反映します。

ロボット型サーチエンジンとは、言ってみれば上のプロセスを、いかに速く、
大量に、広範囲に、スマートにこなすかが勝負で、インフォシークやライコス、
エキサイトといった著名ロボット型サーチエンジンは、それぞれ他社を
出し抜くべく上の競争を展開し続けているのであります。
個人的主観としては、速さ、正確さなどからみて現在はgoogleが頭１つ抜けているように思うのですがどうでしょうか？

インフォシーク（http://www.infoseek.co.jp/）
Goo（http://www.goo.ne.jp/）
ライコス（http://www.lycos.co.jp/）
エキサイト（http://www.excite.co.jp/）
OCN Navi（http://navi.ocn.ne.jp/）
フレッシュアイ（http://www.fresheye.co.jp/）
google(http://www.google.com/)

またmetaタグやH1タグなどをうまく利用すれば、検索ロボットにひっかかりやすくなり、
より多くの集客力が見込めるでしょう。
それはまた別で検証します。