Индексация сайта поисковой машиной, немного из истории

С увеличением объёма ёмкости поисковой информации, представленной в мировом интернете, стала всё чётче появлятся задача эффективного,качественного а так же очень быстрого поиска нужных данных. Вначале данную функцию выполняли веб каталоги - упорядоченные по тематике списки ссылок. Их составляли вручную, нередко привлекая в качестве модераторов добровольцев.

От качества также количества представленных в каталоге сайтов зависела его популярность. С течением времени люди придумали более эффективный средство отыскивать информацию - при помощи поисковых систем.

Интернет - это гипертекстовая среда, также дозволено предположить, что все страницы также документы связаны промеж собой ссылками. В случае кушать сайт, то хоть бы одна ссылка должна вести на него. Соответственно, переходя по ссылкам от одного сайта к другому также сохраняя представленную на них информацию, дозволено занести в базу данных все сведения, находящиеся в интернете.

По этому принципу стали трудиться поисковые машины. Специальные программы - поисковые роботы - находили сайты также передавали их на обработку. На первом этапе создания поисковых машин вручную составлялись списки индексации, дабы облегчить роботам нахождение всех значимых сайтов. В дальнейшем это перестало существовать необходимым.

В идеале, переходя по ссылкам, дозволено найти все документы. А на практике так никак не получается. Сущность сети спешно меняется, также отслеживать все изменения в режиме реального времени никак не удается. Базы данных даже самых крупных поисковых систем охватывают максимум половину информации, представленной в сети.

Прародителем поисковых роботов стала программа Archie (Арчи). Она сканировала неизвестные FTP сервера также фиксировала названия находящихся там файлов. Арчи работал в интернете еще в то время, в какое время в глобальной паутине никак не было также сотни серверов HTTP! Главный поисковым роботом в современном значении этого слова стал Вандерер (Wanderer).

Но первые поисковые машины появились в интернете в середине 90-х годов. Среди поисковиков того времени дозволено назвать Excite, Lycos, Infoseek. Самой популярной также совершенной считалась AltaVista. Она использовала собственного поискового робота также обладала удобным дизайном. Надобно отметить, что дизайнерские решения, которые впервые применила AltaVista, в дальнейшем нашли свое отблеск в большинстве популярных поисковых машин, включая Google.