Доброго времени суток.
В сети Интернет множество самых разнообразных сайтов, среди которых имеются и информационные, на которых зачастую представлено множество страниц с самыми разнообразными материалами. Однако далеко не на всех сайтах имеется отдельная страница, именуемая «картой сайта», и на которой перечислены ссылки на все имеющиеся на сайте материалы.
А получить эти ссылки порой очень необходимо. И некоторые пользователи даже прибегают к ручному копированию, переходя от одной страницы сайта к другой. Однако данный подход иррационален, особенно если на сайте очень много страниц. К счастью, получить все ссылки разом на страницы сайта можно куда проще и быстрее. И если у вас возникла данная задача, то вы читаете нужный материал. Далее будет в подробностях и пошагово рассказано, как получить все ссылки на статьи и материалы с интересующего сайта.
Инструкция по получению ссылок на все страницы со статьями и другими материалами с сайта
Сделаем мы это на примере нашего сайта. Показанный алгоритм будет действенен для практически любого другого сайта.
- Практически все сайты используют так называемый файл robots.txt , который находится в корне сайта. Этот файл создан для поисковых роботов и там практически всегда прописывается путь на xml карту сайта. Данная карта сайта используется поисковыми системами, дабы статьи и прочие материалы с сайта оперативно и успешно индексировались.
И так, чтобы увидеть содержание данного файла, просто следует в в адресной строке браузера вписать соответствующий путь, а именно <адрес сайта>/robots.txt Вот как это будет в случае с нашим сайтом https://wpuse.ru/robots.txt
- Открыв данный файл, можно наглядно увидеть путь на xml карту сайта.
- Теперь открываем онлайн сервис. Оный бесплатен, регистрация не требуется. Находится он по адресу https://www.seowl.co/sitemap-extractor/ И далее вписываем в соответствующее поле выясненную на предыдущем шаге ссылку и нажимаем на кнопку Load Sitemap.
- По прошествии небольшого количества времени ссылки будут отображены. Их можно скопировать.
Задача полностью выполнена, ссылки на статьи и прочие материалы с интересующего сайта получены. Причём с минимальными трудозатратами и временем.