| Описание: Представляю вам серверный многопоточный парсер поисковых систем “Aura” для промышленного сбора результатов выдачи Google, Yahoo и Live! Функциональные характеристики: парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц парсинг всех SE по 100 ресурсов на странице скачивание выдачи SE в gzip (архив, экономит траф) многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси вращение выдачи - буквы, цифры, дополнительные запросы, TLD макроподстановки в запросах позволят увеличить КПД выходной базы практически до максимума принудительная задержка потоков (для парсинга без прокси) postmortem-механизм - продолжение парсинга после ребута/выключения сервера развернутая статистика по потокам во время парсинга фильтрация результатов на дубли, выборка из результатов по регулярным выражениям возможность скачивания результатов парсинга в zip-архиве Оф. Сайт: _http://www.synthetix.ws/aurax/
Сообщение отредактировал Nuller - Суббота, 16.06.2007, 09:48 |