CatalogFill дубли при загрузке более 10000 товаров

[Артем]

Артем отредактировано

Что имеем:
MODX Rev - 2.4.2
модуль catalogfill - 2.4.8
Товар находится в таблице MIGX

прайс-лист Excel. (xls) - 20 000 строк

Проблема 1:
При загрузке 20 000 товаров через catalogFill - через 30 - 60 сек. происходит сброс и ничего не загружается
Настройки php:
php_value max_execution_time 1200
php_value upload_max_filesize 40M
php_value post_max_size 40M
php_value max_input_time 1200
php_value memory_limit 256M

Проблема 2:
При загрузке 10 000 товаров (из excel я вручную удалил 10 000 строк). Загрузка товаров проходит где-то за 3 минуты, но:
начинают дублироваться категории, причем, если в excel оставить только одну категорию верхнего уровня (Около 1000 строк), то дубли исчезают.

Оригинал прайс-листа
Конфиг catalogfill
принтскрин задублированных категорий
файл ошибки при загрузке

[Артем]

Артем отредактировано

Сейчас выгрузил первые 2000 строк, вот какие ошибки вылезли
Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/ already exists for resource id = 1245; skipping duplicate resource URI for resource id = 1249

Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/golovki-shlif-tsilindricheskie-awgts/ already exists for resource id = 1248; skipping duplicate resource URI for resource id = 1250

Подскажите пожалуйста, что они означают?
Вот как выгрузился каталог

[Артем]

Артем отредактировано

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

[Артем]

Артем отредактировано

Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

причем на каждый товар

[2016-06-15 11:36:59] (ERROR @ /assets/components/catalogfill/connector.php) Array
(
   [content] => Array
       (
           [deleted] => 0
           [published] => 1
           [template] => 3
           [articul] => 00-00000001
           [pagetitle] => Заготовка - брусок  4х 4х200мм Р6АМ5 HRC 64-66 "CNIC"
           [price] => 123,9
           [unit] => шт
           [alias] => 00-00000001
           [resource_id] => 47
       )

   [category] => Array
       (
           [0] => Array
               (
                   [0] => 2
                   [1] => Заготовки для резцов и осевого инстр-та
               )

           [1] => Array
               (
                   [0] => 2
                   [1] => Заготовки - бруски квадратные Р6АМ5
               )

       )

   [tv] => Array
       (
       )

)

[Артем]

Артем отредактировано

Убрал поле описание , Загрузил 2000 товаров. В журнале modx вот такие ошибки:

[2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/ already exists for resource id = 186; skipping duplicate resource URI for resource id = 189
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/almaznye-golovki/ already exists for resource id = 188; skipping duplicate resource URI for resource id = 190

Вот принскрин ресурсов

[Артем]

Артем отредактировано

Где прочитал, что обязательно при импорте должен быть использован один tv. А у меня вообще tv нет, может с этим связано?

[Артем]

Артем отредактировано

Заметил вот такой момент. Если импортирую только 1 Категорию с Подкатегориями, например "Алмазный инструмент", то все загружается нормально

[Andchir]

Andchir Администраторы отредактировано Andchir

Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

Это не ошибки, а информация.

Проверю у себя. Позже отвечу.

Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.

[Артем]

Артем отредактировано

У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.

[Andchir]

Andchir Администраторы отредактировано @Артем

@Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.

Если это отдельный вопрос, то в отдельную тему, пожалуйста. Иначе будет бардак.

[Andchir]

Andchir Администраторы отредактировано

Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.

Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?

[Артем]

Артем отредактировано @Andchir

@Andchir сказал CatalogFill дубли при загрузке более 10000 товаров:

Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?

Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

Так выглядит товар в таблице migx после загрузки

[whitebyte]

whitebyte отредактировано @Артем

@Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content

[Andchir]

Andchir Администраторы отредактировано Andchir

Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

Для категорий тоже? Вообще это не важно. Дубликаты алиасов могут появиться по многим причинам. Например, делали настройку, проверяли и т.п. что-то не так указали в конфиге, не туда нажали. Перед импортом нужно очистить кэш и убедиться что нет никаких сообщений об ошибках.

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

Надо нажимать "Очистить кэш".

@whitebyte

Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content

Почему это?

[whitebyte]

whitebyte отредактировано @Andchir

@Andchir перепутал modx_shop_content и modx_site_content. Должны, конечно же.

[Артем]

Артем отредактировано @Andchir

@Andchir А вы не пробовали загрузить к себе мой файл XLS ?
Конфиг и файл вот они:

Конфиг
XLS Файл

[Andchir]

Andchir Администраторы отредактировано Andchir

А вы не пробовали загрузить к себе мой файл XLS ?

Я загрузил 30% прайса (6000 с лишним товаров). Ошибок не обнаружил. Вот скриншот:

Единственная проблема - цена. Разделитель копеек должет быть - точка. Это можно поправить через "filter_import" в конфиге.

[tartaren]

tartaren отредактировано @Andchir

@Andchir Подскажите пожалуйста как именно можно поправить разделитель через "filter_import" в конфиге? При импорте запятые в точки, при экспорте наоборот.

[Andchir]

Andchir Администраторы отредактировано @tartaren

@tartaren Создайте отдельную тему, не надо мусорить.