Авто генератор большой карты сайта напрямую из базы СРОЧНО



  • ЧТО ЕСТЬ: Стоит Modx Revo + Shopkeeper
    Каждый ресурс это товар. На данный момент всего 51198 ресурсов. 70% архивные товары, но они должны все равно висеть, так как в любой момент что то может появится в наличии и поэтому они не удаляются и не отключается их публикация. Просто меняется статус на странице товара и он не показывается в общем каталоге, но его можно найти в архиве товаров.

    ПРОБЛЕМА: В общем нужно защититься от ботов яндекса и гугла, так как они валят всю нагрузку на сайт в 4-5 раза в течение длительного времени, пока они бегают по всему сайту. Стандартные приложения modx или сторонние сервисы не позволяют сгенерировать карту сайта, так как не все страницы генерируется и создается большая нагрузка.

    ЧТО НУЖНО: Нужна обычная карта сайта в xml, скорее всего разделенная на части, например по 40 тыс единиц в каждом, и запускать автоматически ее генерирование например раз в неделю. Соответственно нужно создать sitemap.xml со ссылкой на две основных карты сайта где все и содержится.
    Не включать только в список не опубликованные ресурсы.

    Делов то на пару часов.



  • Участник @medvedgoff написал в Авто генератор большой карты сайта напрямую из базы СРОЧНО:

    ЧТО НУЖНО: Нужна обычная карта сайта в xml, скорее всего разделенная на части, например по 40 тыс единиц в каждом, и запускать автоматически ее

    В чем проблема сделать несколько карт и указать границы выгрузки?
    Не знаю есть ли в getProducts limit и offset, но у pdoSitemap точно есть.

    Дальше в robots укажите:
    Sitemap: https://site/map.xml
    Sitemap: https://site/map2.xml

    или одну карту, но через протокол

    https://www.sitemaps.org/ru/protocol.html#index



  • @slaad pdositemap и прочие пробовал, просто виснет при генерации sitemap или вообще не грузит. Нужно генерировать отдельно от modx напрямую из базы. Так как сами понимаете разом открыть 50 тыс ресурсов в modx жесть.
    А тут нужно что бы был скрипт который сгенерировал и сохранил в независимый файл xml карту сайта, что бы при открытии уже открывалась сохраненная версия. По крону хорошо бы раз в неделю обновлять его.



  • @medvedgoff
    Сразу видно не читатель))

    Я ведь не предлагаю все 50 к тащить в один заход. Вам нужно разбить это на 10 карт по 5 тыс задав limit и offset.



  • Есть решение, который генерирует xml карты сайта + родительскую. В виде файлов. Делалось для сайта у которого 20 000 товаров. Могу допилить сделать что бы работало по cron.

    Стукните в ПМ.



  • @slaad Я прочитал. Но не допер до вашей идеи. По сути все просто =)

    Сейчас запили 7 доков по 8 тыс в каждом. Будем ждать, как отреагирует яндекс и гугл на это.



  • Вчера нормально открывал доки и по 8 тыс. Сегодня уже 502 при открытии и 4 тыс. Только по 3 тыс. Хост видимо снижает возможные ресурсы. Из за перегрузов. Или хз почему так. Хост timeweb



  • Нужно смотреть что за ошибка. И смотреть как ресурсы расходуются.
    Сделайте запрос хостеру.
    Возможно вас плавно к другому тарифу подталкивают))



  • Я укзал страницы https://mstrok.ru/api/sitemap.xml



Похоже, подключение к Форум | MODX Shopkeeper было разорвано, подождите, пока мы пытаемся восстановить соединение.