Проверка Веб сайтов

В этом разделе мы рассмотрим два очень простых, но полезных Веб агента, которых я написал для своих нужд на Акторном Прологе.

Example 1. Поиск устаревших и ошибочных ссылок на Веб сайте.

Рассмотрим пример Holes7_d.A в каталоге Web\Holes. Первое, что Вы обнаружите, изучая эту программу, это то, что исходный файл Holes7_d.A не содержит ничего, кроме комментариев. Дело в том, что данная программа была создана полностью средствами визуального компонентно-ориентированного программирования. Поэтому программа состоит из одних SADT диаграмм (файл Holes7_d.IDL), которые ссылаются на классы в библиотеке компонентов MOROZOV, поставляемой вместе с примерами. Файл Holes7_d.DLG также не содержит никаких определений диалоговых окон. Все определения загружаются из библиотеки компонентов.

Запустим нашего Веб агента.

Диаграмма верхнего уровня состоит из трёх блоков: "Logic Programming Sites", "Edit" и "Check". Эти имена соответствуют именам классов в библиотеке компонентов '_Logic_Programming_Sites', '_Edit' и '_Check'.

Нажмите левой кнопкой мыши на блок "Edit". Откроется диалоговое окно, в котором Вы можете задать адрес Веб сайта для проверки. В выпадающем списке перечислены некоторые Веб сайты, связанные с логическим программированием и Прологом (эти адреса передаются в блок "Edit" из блока "Logic Programming Sites"). Кнопка "Select" открывает стандартное диалоговое окно выбора файла. С его помощью Вы можете выбрать файл для проверки на своём жестком диске. Кнопка "Process" передаёт выбранный адрес в блок "Check" для дальнейшей обработки.

Выберите сайт

http://techref.massmind.org/techref/language/prolog/index.htm

и нажмите на кнопку "Process".

Теперь нажмите на блок "Check". Блок "Check" откроет диалоговое окно, в котором можно задать режим проверки выбранного сайта. В поле "Start point of analysis" указан выбранный адрес. Радиокнопки "Output mode" позволяют выбрать тип отчёта - агент может вывести отчёт в текстовое окно или в файл. Имя файла указывается в поле редактирования, соответствующем кнопке "create file". В поле "Maximal waiting time" укажите максимальное время ожидания отклика от проверяемого Веб сайта. Если время ожидания превысит указанную величину, агент будет считать ресурс временно недоступным и выдаст сообщение об ошибке.

Поле "Web domain to be analyzed" служит для ограничения пространства поиска. Агент не будет проверять ссылки, расположенные на Веб странице, если её адрес не содержит строку символов, заданную в этом поле. Чекбокс "Search depth limit" включает ограничение на глубину просмотра дерева Веб страниц. В соответствующем ему поле редактирования можно указать число - максимальную глубину просмотра.

Поле редактирования "Do check only one of the variants" служит для оптимизации поиска на сайтах, поддерживающих автоматическую перекодировку букв. Например, на сайте нашего института ресурсы, расположенные по адресам www.cplire.ru/win, www.cplire.ru/koi, www.cplire.ru/mac, www.cplire.ru/alt и www.cplire.ru/iso являются одними и теми же файлами, автоматически переводимыми в разные кодировки. Указав в поле редактирования "Do check only one of the variants" возможные варианты адресации одного и того же ресурса, мы сообщаем агенту, что в ходе проверки Веб сайта достаточно проверять какой-нибудь один вариант адресов.

Кнопка "Start analysis" запускает проверку указанного сайта с заданными параметрами.

В ходе проверки агент создаёт отчёт. В зависимости от заданного режима, отчёт выводится в текстовое окно или в файл.

Отчёт, записанный в файл, можно просмотреть стандартным Веб браузером. Для этого нажмите кнопку "Show report file" в диалоговом окне "Parameters of analysis".

При первом же запуске агента мы обнаружили на нашем собственном сайте огромное количество устаревших ссылок, некорректных адресов и просто синтаксических ошибок. Проверьте свой Веб сайт с помощью Акторного Пролога прямо сейчас.

Example 2. Поиск ключевых слов на Веб сейте.

Агент Site_d.A, расположенный в каталоге Web\ScanSite, помогает мне исследовать различные Веб ресурсы. Эта программа пробегает по дереву гиперссылок и находит страницы, на которых встречаются интересующие меня ключевые слова. Часто эта программа оказывается очень полезной, потому что далеко не все сайты оборудованы средствами поиска. А многие из тех, которые поддерживают поиск, делают это очень некачественно.

Запустим Веб агента.

Диаграмма верхнего уровня состоит из пяти блоков: "Logic Programming Keywords", "Edit Keywords", "Logic Programming Sites", "Edit" и "Scan Site".

Назначение блоков "Logic Programming Sites" и "Edit" такое же, как в предыдущем примере. Блок "Edit Keywords" предназначен для редактирования списка ключевых слов (в том числе, если необходимо, он может загрузить готовый список из блока "Logic Programming Keywords"). Блок "Scan Site" самый главный, он реализует поиск заданных ключевых слов на указанном Веб сайте.

Нажмите на блок "Edit Keywords" и загрузите в открывшееся диалоговое окно список ключевых слов (кнопка "Load").

Закройте диалоговое окно кнопкой "O.K.". Нажмите на блок "Edit" и укажите Веб сайт для анализа.

Закройте диалоговое окно кнопкой "Process". Нажмите на блок "Scan Site" и выберите параметры анализа.

Все поля в этом диалоговом окне имеют такой же смысл, как в предыдущем примере. Для начала анализа нажмите кнопку "Start analysis".

В ходе анализа агент сообщает, на каких страницах сайта и сколько именно раз встретились заданные ключевые слова.

Вы можете также задать вывод отчёта в файл:

В этом случае после окончания анализа агент создаст файл с адресами страниц, содержащих заданные ключевые слова. Для просмотра файла нажмите кнопку "Show report file".

Обратите внимание, что оба примера, рассмотренные в этом разделе, созданы из готовых компонентов средствами визуального программирования.

Если Вы создали свои собственные компоненты, которыми хотели бы поделиться с другими разработчиками, мы с удовольствием включим их в дистрибутив Акторного Пролога.