CatalogFill дубли при загрузке более 10000 товаров



  • Что имеем:
    MODX Rev - 2.4.2
    модуль catalogfill - 2.4.8
    Товар находится в таблице MIGX

    прайс-лист Excel. (xls) - 20 000 строк

    Проблема 1:
    При загрузке 20 000 товаров через catalogFill - через 30 - 60 сек. происходит сброс и ничего не загружается
    Настройки php:
    php_value max_execution_time 1200
    php_value upload_max_filesize 40M
    php_value post_max_size 40M
    php_value max_input_time 1200
    php_value memory_limit 256M

    Проблема 2:
    При загрузке 10 000 товаров (из excel я вручную удалил 10 000 строк). Загрузка товаров проходит где-то за 3 минуты, но:
    начинают дублироваться категории, причем, если в excel оставить только одну категорию верхнего уровня (Около 1000 строк), то дубли исчезают.

    Оригинал прайс-листа
    Конфиг catalogfill
    принтскрин задублированных категорий
    файл ошибки при загрузке



  • Сейчас выгрузил первые 2000 строк, вот какие ошибки вылезли
    Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/ already exists for resource id = 1245; skipping duplicate resource URI for resource id = 1249

    Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/golovki-shlif-tsilindricheskie-awgts/ already exists for resource id = 1248; skipping duplicate resource URI for resource id = 1250

    Подскажите пожалуйста, что они означают?
    Вот как выгрузился каталог



  • Еще одна проблема имеется:
    Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную



  • Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

    причем на каждый товар

    [2016-06-15 11:36:59] (ERROR @ /assets/components/catalogfill/connector.php) Array
    (
       [content] => Array
           (
               [deleted] => 0
               [published] => 1
               [template] => 3
               [articul] => 00-00000001
               [pagetitle] => Заготовка - брусок  4х 4х200мм Р6АМ5 HRC 64-66 "CNIC"
               [price] => 123,9
               [unit] => шт
               [alias] => 00-00000001
               [resource_id] => 47
           )
    
       [category] => Array
           (
               [0] => Array
                   (
                       [0] => 2
                       [1] => Заготовки для резцов и осевого инстр-та
                   )
    
               [1] => Array
                   (
                       [0] => 2
                       [1] => Заготовки - бруски квадратные Р6АМ5
                   )
    
           )
    
       [tv] => Array
           (
           )
    
    )
    
    


  • Убрал поле описание , Загрузил 2000 товаров. В журнале modx вот такие ошибки:

    [2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
    [2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
    [2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
    [2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
    [2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
    [2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
    [2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
    [2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/ already exists for resource id = 186; skipping duplicate resource URI for resource id = 189
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
    [2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/almaznye-golovki/ already exists for resource id = 188; skipping duplicate resource URI for resource id = 190
    
    

    Вот принскрин ресурсов



  • Где прочитал, что обязательно при импорте должен быть использован один tv. А у меня вообще tv нет, может с этим связано?



  • Заметил вот такой момент. Если импортирую только 1 Категорию с Подкатегориями, например "Алмазный инструмент", то все загружается нормально


  • Администраторы

    Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

    Это не ошибки, а информация.

    Проверю у себя. Позже отвечу.

    Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.



  • У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.


  • Администраторы

    @Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

    У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.

    Если это отдельный вопрос, то в отдельную тему, пожалуйста. Иначе будет бардак.


  • Администраторы

    Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.

    Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?



  • @Andchir сказал CatalogFill дубли при загрузке более 10000 товаров:

    Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?

    Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

    Так выглядит товар в таблице migx после загрузки



  • @Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

    Еще одна проблема имеется:
    Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

    Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content


  • Администраторы

    Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

    Для категорий тоже? Вообще это не важно. Дубликаты алиасов могут появиться по многим причинам. Например, делали настройку, проверяли и т.п. что-то не так указали в конфиге, не туда нажали. Перед импортом нужно очистить кэш и убедиться что нет никаких сообщений об ошибках.

    Еще одна проблема имеется:
    Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

    Надо нажимать "Очистить кэш".

    @whitebyte

    Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content

    Почему это?



  • @Andchir перепутал modx_shop_content и modx_site_content. Должны, конечно же.



  • @Andchir А вы не пробовали загрузить к себе мой файл XLS ?
    Конфиг и файл вот они:

    Конфиг
    XLS Файл


  • Администраторы

    А вы не пробовали загрузить к себе мой файл XLS ?

    Я загрузил 30% прайса (6000 с лишним товаров). Ошибок не обнаружил. Вот скриншот:
    0_1466085683236_screenshot_017.png

    Единственная проблема - цена. Разделитель копеек должет быть - точка. Это можно поправить через "filter_import" в конфиге.



  • @Andchir Подскажите пожалуйста как именно можно поправить разделитель через "filter_import" в конфиге? При импорте запятые в точки, при экспорте наоборот.


  • Администраторы

    @tartaren Создайте отдельную тему, не надо мусорить.



Похоже, подключение к Форум | MODX Shopkeeper было разорвано, подождите, пока мы пытаемся восстановить соединение.