Инф 1234 количество Web-страниц, к которым ведет поисковый указатель, намного больше. Летом 1999 г. крупнейшие поисковые указатели преодолели 200-миллионный рубеж и, как
сообщают, следующий рубеж (300-миллионный) будет взят в 2000 г.
Сбор информации поисковыми роботами
Поисковые указатели работают в три этапа. Создание поисковой системы начинается с
разработки специальной агентской программы, которая путешествовать по
Web-узлам Интернета, просматривать Web-страницы и копировать их содержание на
центральный сервер поисковой системы. Такие агентские
агентские программы называют
«червяками», «пауками», «поисковыми роботами» (сокращенно «ботами»), «поисковыми
машинами», «краулерами» и т. п. Многообразие названий связано с тем, что каждая
поисковая система создает свою собственную, неповторимую программу и дает ей свое
имя, которое впоследствии становится нарицательным. Большинство современных
поисковых систем начинались с того, что в 1993-94 годах в университетских
лабораториях были разработаны экспериментальные программы для мониторинга Сети.
Если при чтении Web-страницы поисковый робот находит на ней ссылки на другие
страницы того же Web-узла, он переходит по этим ссылкам, читает их содержание и так
далее. Как червяк, он проникает в самые отдаленные закоулки WWW.
