Глубокая паутина - совокупность всех web-страниц, не индексируемых поисковыми системами.

Возможно, вы где-то когда-то и слышали о глубокой паутине и даже сталкивались с ней, но даже не знали, что это так называется. Тем не менее, думаю, рассказ об этом явлении современного Интернета в рамках ставшей традиционной для "Компьютерных вестей" рубрики F.A.Q. вряд ли будет лишним.

Глубокая паутина - это та часть web-страниц, которые не индексируются поисковыми роботами и, как следствие, не могут быть найдены пользователем по запросу в поисковой системе.

Причины, по которым эти страницы недоступны поисковым системам, могут быть различными. Самый банальный вариант - это когда страница просто не связана ни с одной другой страницей гиперссылками. Как известно, роботы поисковых систем осуществляют индексацию, переходя по гиперссылкам между страницами. Если автор страницы, на которую нет ссылок, не зарегистрирует её специально в поисковой системе, чтобы её проиндексировали, то такую страницу поисковик сам никогда не найдёт. Впрочем, страницы без ведущих на них гиперссылок - далеко не единственный вариант страниц глубокой паутины. В неё также могут входить страницы, доступ к которым разрешён только ограниченному числу зарегистрированных пользователей и которые, таким образом, также недоступны поисковым роботам. Ещё одной составляющей глубокой паутины являются страницы с содержимым, генерируемым в ответ на запрос пользователя. Самый яркий пример - страницы всё тех же поисковых систем. Впрочем, поскольку представленная на них информация уже проиндексирована поисковыми роботами, то они в глубокую паутину не попадают, в отличие от остальных страниц, организованных по тому же принципу.

Может показаться, что страниц, которые попадают в глубокую паутину, не так уж много, и беспокоиться, собственно говоря, особенно не о чём. На самом деле это далеко не так. По оценкам некоторых компаний, специализирующихся на анализе поиска, объём информации в глубинном Интернете превышает объём видимой через поисковики информации почти в 500 раз. Это означает, что фактически пользователям Интернета, которые ищут информацию именно с помощью поисковых систем, оказывается доступной лишь вершина айсберга всей созданной человечеством информации.

Поисковые системы пытаются решать проблему глубинной паутины, однако говорить о серьёзных успехах в этой области пока что, в общем-то, рано.

Вадим СТАНКЕВИЧ,
dreamdrusch@tut.by