Представляю вам серверный многопоточный парсер поисковых систем “Aura” для промышленного сбора результатов выдачи Google, Yahoo и Live!

Функциональные характеристики:

парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц
парсинг всех SE по 100 ресурсов на странице
скачивание выдачи SE в gzip (архив, экономит траф)
многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
вращение выдачи - буквы, цифры, дополнительные запросы, TLD
макроподстановки в запросах позволят увеличить КПД выходной базы практически до максимума
принудительная задержка потоков (для парсинга без прокси)
postmortem-механизм - продолжение парсинга после ребута/выключения сервера
развернутая статистика по потокам во время парсинга
фильтрация результатов на дубли, выборка из результатов по регулярным выражениям
возможность скачивания результатов парсинга в zip-архиве

Оф. Сайт: _http://www.synthetix.ws/aurax/