Common Crawl сделала щедрый подарок разработчикам и компаниям в области поиска и обработки информации. В открытый доступ на Amazon S3 выложен индекс из 5 млрд веб-страниц с метаданными, PageRank и графом гиперссылок.

Некоммерческая организация Common Crawl выступает за свободу информации и поставила целью сделать общедоступный поисковый индекс. Предполагается, что это приведёт к созданию целой плеяды инновационных веб-сервисов.

Файлы можно скачать к себе или напрямую обрабатывать на EC2 с помощью MapReduce. Доступ к bucket'у возможен только с флагом Amazon Requester-Pays, т.е. для зарегистрированных пользователей EC2. Скачать 40-50 ТБ из внешней сети обойдётся примерно в $130, обращение через MapReduce внутри EC2 - бесплатно.

Анатолий АЛИЗАР