Aftparser — парсинг обновлений, прокси, обрезка изображений

Мир, Труд, Май, товарищи! А значит самое время для очередного обновления моего парсера. Судя по количеству обращений он пришелся вам по нраву. Сегодня я представляю вам автосбор обновлений, прокси и обрезку изображений.

Скачать последнюю версию плагина.

Парсинг обновлений с сайтов

По многочисленным просьбам трудящихся, я добавил в плагин функционал автоматического сбора новостей с вебсайтов. Выглядит все это следующим образом:

В данном случае настроен автосбор новостей с рамблера(раздел — бизнес), а регулярка подбиралась под ссылки вот такого вида:

Если вы, что называется, «не шарите» в том, как составлять регулярные выражения, вот вам статья, я ее специально для этого случая написал — регулярные выражения для чайников.

При тестировании, если все работает правильно, вы получите список ссылок для актуальных новостей.

Парсер проверяет наличие новостей всякий раз, как срабатывает CRON, после чего добавляет все новости к вам на сайт. Как правило, процесс идет весьма бойко и … спустя некоторое время ваш сайт заполняется доверху целой кучей материалов.

Наш девиз — пятилетку за четыре года! Ударными темпами идем вперед, товарищи!

Обрезка изображений

Опять-же, по просьбам трудящихся, теперь можно обрезать картинки с сайтов-источников, уникализируя их и убирая ватермарки.

Делается это макросом-функцией process_images, которой, в качестве второго параметра, надо передать количество пикселей для обрезки.

Внимание: теперь парсер требует, чтобы на вашем сервере обязательно было активное расширение php_gd, без этого расширения обрезка работать не будет.

$res = $this->process_images($res,35);

В данном случае у изображения снизу будет отрезано 35 пикселей.
Давайте проверим. Запустим сначала тест без обрезки и найдем ссылку на картинку в тексте результата.

И так, сейчас я перейду и посмотрю, что там.

А теперь, добавим к методу process_images второй параметр, пусть это будет 35 пикселей, после чего перезапустим тест. Макрос у меня выглядит так:

Теперь запускаю тестирование и снова смотрю на картинку.

Идеально, никаких сторонних надписей + изображение будет выглядеть уникальным для поисковых систем. Так это и работает.

Прокси

Так-же, я добавил прокси для парсинга материалов. Это весьма важное нововведение, с целью обезопасить ваши айпи-адреса с сайтами от банов и претензий со стороны авторов оригинального контента… Однако, прокси замедляет (сильно) работу парсера, так что… использовать его или нет — решать вам.

Давайте проверим. Возьмем любой публичный бесплатный прокси, например отсюда —

Вставляем и смотрим:

Теперь запустим тестирование, оно в этом случае будет слегка замедленно (или не пройдет, если проксюк — не рабочий).

Все нормально. Берем и используем. Я рекомендую парсить всякие там рамблеры и прочие новостные сайты крупных буржуев-монополистов только через прокси. И да, их может быть несколько в списке, тогда при обращениях парсер будет выбирать случайный вариант.

P.S: Парсер RSS пока у меня отстает немного в плане обновлений, но всему свое время.

Спасибо за вашу поддержку в развитии этого проекта!