検索エンジン(Search Engine)とは、インターネット上に存在するWebページや画像ファイルなどの情報を探すためのシステムのことです。
代表的なものにGoogle、Yahoo!、Baidu(百度)、Bingなどがあります。
調べ物をするとき、パソコンやスマートフォンで、GoogleあるいはYahoo!などを介して、とりあえずキーワード検索をしてみる方が多いと思います。このような行為を「ググる」と呼んでいます。Googleを使って検索をすることから生まれた造語です。
とりあえずググってみたときに、検索結果に表示されているページの内容が自分の意図通りでなかったり、上位にはECサイトなどばかりが並んでしまって、欲しい情報になかなか辿りつけなかったり、という経験をされた方も居られることでしょう。
検索エンジンにより正確に自分の意図を伝えるには、Googleなどの検索エンジンがどのような仕組みで動いているのかを理解して、検索キーワードを選ぶ必要があります。
検索エンジンには、ディレクトリ型とロボット型とがあります。
ディレクトリ型は、ディレクトリ(要覧)をWeb上に構築しておいて、検索要求時にはそのディレクトリ内を検索するものです。人力で、カテゴリに分けて、サイトの概要を記入したディレクトリが構築されているので、特定分野や地区などに限定したサイトを探しやすく、検索結果の一覧には質の高いウェブサイトが並ぶという特長があります。一方、ディレクトリの構築には人手がかかるので、検索対象となるサイト数を多くできず、結果として目的のサイトが出てこないなどの欠点も抱えています。
インターネットが一般に使われ始めた初期(1990年代)の検索エンジンの多くはディレクトリ型でしたが、Webサイトが爆発的に増え始めた1990年代の終わり頃からは、ディレクトリ型に代わり、Googleに代表されるロボット型が主流になりました。
ロボット型の検索エンジン(以下、単に検索エンジンと記述したものはロボット型の検索エンジンを指します)は、インターネット上に存在する無数ともいえるWebサイトの各ページを、リンクを辿って情報収集し、収集した情報をデータベースに分類・登録します。
Webページから情報報収集する仕組みをクローラ(Crawler)、データベースに分類・登録することをインデクシング(Indexing)といいます。
クローラは巡回する仕組みとご理解ください。世界中のWebサイトを巡回し終わるには時間がかかりますので、生まれたばかりのWebサイトがインデックスされるには、数日程度の時間がかかります。
クローラによって集められたWebページの情報は、キーワード検索の処理がしやすいように、文字情報が分類されインデックス(索引)されます。また、「title(タイトル)」「h(見出し)」「meta description(ページ概要)」などのHTMLタグが付されている文字列、画像、更新日時などの情報もデータベース化されます。
ユーザーが指定した複数のキーワード(文字列)に基づいて、検索処理を行うことをクエリといいます。クエリ(Query)とは問い合わせという意味です。
検索エンジンは、インデックスされた諸情報を全文検索した上で、指定されたキーワードに該当しそうなWebページを、最も適切だと判断した順番に並べて表示します。どのような順番でWebページを並べるかを決定するロジックのことを検索アルゴリズムといいます。
Googleは「ユーザーの利便性を高める」ことを理念に掲げて、検索エンジンのアップデートを続けています。Google検索の基本的な考え方は、「ユーザーにとって有益」と考えられる情報が、見やすく、読み手に理解されるように提供されているページを高く評価し、より上位に表示するというものです。
その考え方に基づき、Googleの検索アルゴリズムでは、ランキングシグナルと呼ぶ順位を決定するための多数の要素を分析しています。このシグナルは数百個もあるとされており、設定されている様々なシグナルがそれぞれ複雑に作用して、順位は決定されています。どのシグナルを重視するかといった細かい調整は日々行われていて、その内部がどうなっているのかは明かにされていません。
「ランキングシグナル」と呼ばれている要素には、例えば
などというようなものが含まれています。
これらは、Googleからアルゴリズムのアップデートとして追加されたことが発表されたり、公式のガイドラインに記載されていたりすることもありますが、ほとんどは公表されていません。
Yahoo!は、1994年にスタンフォード大学の学生であったDavid FiloとJerry Yangにより開発されたディレクトリ型の検索エンジンで、インターネットの普及に大きな役割を果たしました。当時のYahoo!の検索エンジンは掲載申請のあったものが審査を経てカテゴリ別に掲載されるような仕組みでした。
1995年にソフトバンクが米Yahoo!株を一部買い取り、1996年4月から日本版にローカライズしたYahoo! JAPAN(以下、ヤフーと記述)の検索サービスを開始しました。ヤフーでは、ツリー構造のカテゴリから探す「ディレクトリ検索」と「キーワード検索」が提供されています。
Yahoo!の知名度、インターネット利用者人口の増加などの様々なプラス要因と、ソフトバンクの経営戦略が見事に当たり、ヤフーは日本における検索サイトの首位の座を固めました。さらに、検索サイトの集客力を武器に、天気予報、ニュース、Yahoo!メール、ショッピング、オークションなど、検索サービス以外のサービスを含めたポータルサイトとしての独走を始めました。
Googleによるロボット型の検索サービスに対抗するため、Yahoo!もヤフーも自前でロボット型の検索サービスを始めましたが、やがて、ロボット型の検索エンジンを、Yahoo!ではマイクロソフトのBingに、ヤフーではGoogleに、切り替えています。
ヤフーは2018年3月にディレクトリ型の検索サービスを終了しました。
1996年1月、スタンフォード大学の学生であったLarry PageとSergey Brinによる研究プロジェクトとして、Googleのロボット型の検索エンジンが開発されました。1997年9月にgoogle.comのサービスが開始され、ベンチャー企業への投資ファンドなどから資金を集め、1998年にGoogle社が設立されました。2001年に日本法人のグーグル株式会社が設立されています。
「重要なページはそれだけたくさんのところから参照されている」という理論に基づく「ページランク(PageRank)」技術を使った検索システムの優秀さが評価されて、Googleは、後発でありながら、検索エンジンの世界でトップに上りつめました。
現在では、ヤフーを始め、数多くの検索サイトのロボット型検索エンジンとして採用されています。
Googleは、「検索連動型広告」と呼ばれる画期的なビジネスモデルを生み出しました。インターネット上での広告ビジネスの一種なのですが、広告費が実際に発生するのは、エンドユーザーがキーワード検索画面から広告主のページを見た時に限るというものです。
多くのネットユーザーがGoogleの検索サービスを利用しますが、その検索するキーワードというのはユーザーが興味を持っている対象なので、そのキーワードを検索した人に対してのみ関連する広告を表示すれば非常に効果的です。広告主はどのようなキーワードに広告を出すのかを指定し、そのキーワードが指定されたときのも広告掲載費が発生する仕組みは、ネットユーザーにとって有意義な広告でありつつ、広告主にとっても広告にかかる費用負担が有効的なものになります。
Google社はこのビジネスモデルの成功をきっかけに巨大な企業になりました
現在は検索エンジンだけでなく、さまざまなWebサービスを提供するほか、携帯電話やOSといった分野にも進出しています。
主なGoogleのWebサービスには次のようなものがあります。
Microsoft社は、1998年よりMSNサーチという名称(その後、Liveサーチに改名)で検索サービスを提供してきましたが、2009年、検索エンジンを刷新し、Bing(ビング)と名称で、Webページの検索に加え、画像、動画、地図、ニュース、ショッピングサイトの商品に特化したした検索を行えるサービスを提供しています。
Yahoo!の検索エンジンは2009年よりBingが採用されています。
Windows 10で提供されている検索ボックスと「Cortana」から利用できる検索エンジンはBingです。また、Windows 10のヘルプはBingの検索結果経由で提供されています。
Ask.com、goo、Lycosなどが細々と利用されています。
中国のBaidu(百度)、韓国のNAVERは、かつては日本語の検索サービスも提供していましたが、現在は日本語検索ができなくなっています。
既にサービスを終了したものには、初期の頃、日本人が開発したOdin、千里眼や、米国発のExcite、Infoseekなどがありました。
(Excite、Infoseekは、ポータルサイトとしてのサービスを継続しています。)
下図の通り、日本でもGoogleが約3/4を占めています。ヤフーのロボット型検索エンジンにはGoogleが採用されていますので、9割強がGoogleで検索されていると言って過言ではありません。