Как настроить AftParser

— пока хирург оперирует человека, парсер оперирует его сайт…

В связи с внезапным всплеском интереса к моему парсеру — AftParser пишу эту статью. Люди часто задают мне вопрос — «как пользоваться этим продуктом». Чтож, настало время дать рабочий пример.

Для начала давайте определимся  с тем, что мы будем парсить. То есть с тематикой. Если мы собираемся сделать, например, сайт о медицине или докторских, скажем так, «байках», то идем на ЖЖ. Пусть это будет, к примеру, блог med-history

Сбор ссылок

Первым делом нам надо собрать ссылки на материалы с этого блога. Для этого в парсере есть два, весьма годных, инструмента. Парсер карты сайта, и Парсер ссылок.

В чем разница? Парсеру карты сайта надо давать ссылки на файлы sitemap.xml В большинстве сайтов на движках wordpress, joomla, drupal или dle есть карта сайта, а этот инструмент может достать оттуда ссылки и добавить их в список. В большинстве случаев этого парсера достаточно, но, в ЖЖ нет карты сайта или она есть, но я не знаю где она  🙂

Парсер ссылок же работает как поисковый робот. Он переходит по всем внутренним ссылкам сайта и добавляет их в список. Причем чем дольше длится процесс парсинга, тем больше материалов будет добавлено. Недостаток этого метода в том, что он может напарсить кучу мусора и бесполезных ссылок. Впрочем давайте перейдем к делу.

Для того, чтобы собрать ссылки указываем грабберу на главную страницу блога — жертвы. Можно и не на главную, тут разницы нет.

Нажимаем на кнопку старт и видим как наш робот начал свое черное СЕО то есть дело.

Можете сходить покурить или попить чаю. Процесс это не быстрый, но я не буду затягивать т.к. пишу эту статью. Чтобы завершить процесс просто закройте окно и подождите секунду, чтобы ссылки скопировались в общий список.

И так, первая стадия завершена, переходим ко второй.

Фильтрация

В ссылках собранных нами очень много мусора. Мягко говоря. А нам нужны материалы. Именно матералы, а не побочные страницы со всяким мусором. Как правило(всегда) у пути к материалу есть своя маска. Перехдим на главную страницу блога жертвы и наводим мышу на заголовок — ссылку каждого поста. Смотрим что нам показывет хром.

Как мы видим у постов есть маска. Они оканчиваются на .html Быстро проматываем и анализируем список ссылок. Есть ли там страницы с окончанием на .html но не указывающие на пост?

Как мы видим — таких страниц нет. Нам повезло! Но вообще у меня глаз наметан я уже умею анализировать большие объемы текста даже не читая. Такова вот она работа програмиста. Тут многое зависит от умения быстро понять что-же написано в коде или в мануале. Причем на любом языке включая китайский, не приведи вам бог искать пошивку биоса на леново…. Ну так вот. Теперь мы определились с фильтром.

Фильтровать ссылки можно двумя способами: через PHP и используя простой встроенный фильтр.

Преимущество фильтра на PHP в том, что там на ходу можно изменять ссылки, приписывать к ним что-то, например.

Но мы будем использовать простой фильтр т.к. надо отфильтровать лишь .html

Тыкаем «фильтровать» и смотрим выше что у нас получилось. За одно проверяем ссылки, переходя по паре-тройке.

Как мы видим все ОК и мы можем приступать к наглому пиздингу контента из этого источника. Разумеется в рамках культуры я бы советовал вам оставлять ссылку на блог, с которого парсите материалы. Ведь его автор реально старался для своих читателей. Но это оффтоп, а у меня лекция стынет. И так. Чтобы более-менее нормально спарсить материал надо определиться с его разметкой.

Подготовка границ контента

Любой отрезок текста в HTML документе всегда обрамлен в теги. Так было, так есть и так будет. Это значит, что мы можем вырезать этот отрезок текста по верхнему и нижнему тегу-границе. Это принцип работы моего парсера контента.

Для начала нам надо задать одну границу для заголовка и одну границу для контента. Вообще функционал позволяет нам задавать не ограниченное кол-во границ контента. Но мы не задаемся целью спарсить все и вся, а лишь дергаем текст самого материала. И так, давайте приступим.

Сестра, скальпель!

Переходим на один из материалов блога, например сюда — http://med-history.livejournal.com/78826.html и тыкаем в хроме F12 (если у вас жопера или огнелис то там я не знаю сочетания клавиш, короче нам нужны инструменты вебмастера). На заголовке нажимаем «Просмотреть код», вот так:

Мы видим в разметке, что заголовок материала находится между блоками

<h1 class=" и </h1>

Запомните: мы не смотрим на целостность тегов. Нам на это вообще до лампочки. Для нас html документ это просто набор границ. Это как лист бумаги, который мы режем. Поэтому мы можем указать в качестве начала заголовка как обрубок тега, так и комментарий или например русский текст.

К стати. Чтобы было удобно выделять код просто нажмите клавишу F2 в инструментах вебмастера и тогда это будет проще.

Не будем тянуть кота за гениталии и вставим полученные куски разметки в соответствующие поля на форме парсера.

После чего нажимаем «Добавить» и продолжаем.

Теперь нам надо задать границу контента.

Делаем все то-же самое, что и с заголовком, но уже на тексте материала.

Вот у нас верхняя граница (в конце тега article): lj-embed-resizer >

А нижняя просто: </article>

Важно: проверьте границы используя Webmaster Tools. Они должны повторяться на каждой странице блога-жертвы.

Если все в порядке — добавляем.

И так путь пройденый нами был довольно долог, особенно учитывая эту содомию со скриншотами, но это еще не конец. На самом деле все эти действия я уже давно выполняю на автомате. Думаю и вы, разобравшись, сможете делать так-же. Перейдем же непосредственно к формированию материала.

Формирование материала

Тут у нас есть выбор. Доверить формирование материала криворукому скрипту или сделать все самостоятельно. Я настоятельно советую совмещать! оба этих подхода. Что мы с вами сейчас и сделаем. Для начала лениво выставим галочки:

И нажмем кнопку «тестировать», внизу:

Смотрим на результаты тестирования и анализируем.

Тут мы видим одно непотребство, которое надо убрать.

Оно в заголовке. Я подчеркнул, в скриншоте.

Как этот шлак убрать? Очень просто. Для этого у нас есть php и макрос. Просто переходим на редактор макросов и начинаем писать код, попутно его тестируя!

И так. В заголовке надо убрать все, что идет до символа «>» включая сам символ. Для этого пишем такой код:

$title = $this->get_border('fragment_1',$html); // суем содержимое первой границы в переменную

$pos = mb_strpos($title,">"); // узнаем позицию маркера ">"

if($pos !== false) $title = mb_substr($title, $pos+1,mb_strlen($title)-$pos+1); // обрезаем строку + 1 символ ">"

$res .= $this->set_title(trim($title)); // задаем строку как заголовок

Тестируем.

Все чисто.

Теперь к контенту. Тут у нас есть мусорные метки со всякой там группой «вфейсбуке». Делаем так-же.

В данном случае верхним триггером будет слово «PS». Код:

$pos1 = mb_strpos($res,"PS");

if($pos1 !== false) $res = mb_substr($res,0,$pos1-1); // обрезаем строку с начала до - 2 символа после "PS"

После тестирования видим, что все в полном порядке. Теперь мы хотим, чтобы при парсинге материалы с этого сайта попадали в категорию, например, «медицина». Прописываем в теле макроса простую команду: $res .= $this->set_catname("медицина");

Не важно, есть у вас эта категория или нет. Если ее нет — плагин сам ее создаст.

Общий код макроса будет таким:

/*

* Приведение кодировки

* $blog_enc - кодировка страниц блога

* $src_enc - автоматически определенное значение кодировки. Берется из тега <meta> страницы.

* Если значение $src_enc определяется не верно - укажите его самостоятельно.

*/

if($blog_enc != $src_enc) $html = mb_convert_encoding($html, $blog_enc, $src_enc);

$title = $this->get_border('fragment_1',$html);

$pos = mb_strpos($title,">");

if($pos !== false) $title = mb_substr($title, $pos+1,mb_strlen($title)-$pos+1); // обрезаем строку + 1 символ ">"

$res .= $this->set_title(trim($title));
$res .= $this->get_border('fragment_2',$html);
$res = $this->clear_tags_from_trash($res);

$res = $this->remove_a_href($res);

$res .= $this->add_indent();

$res = $this->process_images($res);
$pos1 = mb_strpos($res,"PS");

if($pos1 !== false) $res = mb_substr($res,0,$pos1-1); // обрезаем строку с начала до - 2 символа после "PS"
$res .= $this->set_catname("медицина");

Парсинг

Вы можете спарсить все материалы немедленно, нажав на соответствующую кнопку:

Но это может сильно нагрузить сервер. Советую просто сохранить настройки для отложенного парсинга. К тому-же так вы в любой момент сможете их отредактировать, если что-то пойдет не так.

После сохранения через несколько секунд должен спарситься первый материал. Переходим в записи и смотрим:

И вот он! Все картинки скачаны, все выглядит цивильно и красиво.

Материалы будут добавляться на ваш сайт всякий раз, как кто-то будет посещать его.

Хороше? Отлично! Именно так все и работает. К слову вы можете настроить свой CRON если умеете. Для этого во вкладке плагина «Дополнительно» есть соответствующие пункты, которые смотрите сами.

Точно так-же работает и граббер RSS лент.

К стати! Если вы хотите, чтобы к вашим спарсенным постам автоматически выставлялась картинка — описание то поставьте себе вот этот плагин: Auto Post Thumbnail

Надеюсь эта статья будет вам полезна.