TopGen ProxyLab - это программа, которая ищет списки прокси в раличных форматов файлах (в т.ч. и в Интернете), проверяет их на работоспособность и по необходимости фильтрует результат. Т.е. она объединяет в себе функции proxy-grabber'а, proxy-checker'а и proxy-filter'а. Причем, и та и другая функции реализованы в программе максимально эффективно. TopGen ProxyLab - бесплатная программа, хотя по функциональности она и не уступает большинству платных аналогов
Proxy-Grabber. ProxyLab позволяет её пользователю составлять список прокси из других списков, находящихся в локальных файлах, или в Интернете. Эти списки могут быть в разных форматах (txt, html и пр.). Конечно, если автор списка пожелал его спрятать от автоматизированного поиска, то скорее всего ProxyLab вам не поможет, но подавляющее большинство популярных страниц с прокси в Интернете, она все же читает успешно. Чтобы не заниматься поиском Интернет-страниц с прокси самостоятельно, можете воспользоваться моим списком этих страниц. Просто загрузите его на жесткий диск и импортируйте его в программу.
Proxy-Checker. Довольно полно в ProxyLab реализована и эта функция. По сути, она проверяет список прокси на работоспособность. Но, кроме того, включена возможность проверить эти прокси на анонимность и узнать их страну. Работоспособность прокси можно проверить разными путями:
Connect-метод - проверяет соединение с сервером. Это самый примитивный способ и он не даёт гарантии того, что проверенный сервер является именно прокси-сервером. Не позволяет определить анонимность прокси.
Get-метод - проверяет соединение с сервером и пытается загрузить указанную страницу. Более точный способ, но никто не даёт гарантию того, что загрузилась именно та страница, которая нас интересует. Тоже не позволяет определить анонимность сервера.
GetEnv-метод - проверяет соединение с сервером и пытается загрузить указанную страницу, которая отображает переменные среды сервера и их значения. Этот метод наиболее точный, ибо некотрые переменные всегда есть у любого сервера. Это позволяет ProxyLab проверить, содержит ли загруженная страница ожидаемое содержание. Кроме того, только по переменным среды (если они, конечно, все выводятся на страницу) можно определить анонимность прокси.
Ясно, что и третий метод не всегда отражает действительность. Например, администратор прокси-сервера мог поставить запрет на загрузку страниц не из США или мог закрыть доступ пользователям не из США и еще много чего мог.
Proxy-Filter. Иногда пользователю нужно составить список, не включающий в себя некоторые прокси. Для этого в программу специально встроена функция фильтрации списка по странам, портам и ip.
Код:
http://www.topgen.net/downloads/TGPLSetup.exe