CatalogFill дубли при загрузке более 10000 товаров

Что имеем:
MODX Rev - 2.4.2
модуль catalogfill - 2.4.8
Товар находится в таблице MIGX

прайс-лист Excel. (xls) - 20 000 строк

Проблема 1:
При загрузке 20 000 товаров через catalogFill - через 30 - 60 сек. происходит сброс и ничего не загружается
Настройки php:
php_value max_execution_time 1200
php_value upload_max_filesize 40M
php_value post_max_size 40M
php_value max_input_time 1200
php_value memory_limit 256M

Проблема 2:
При загрузке 10 000 товаров (из excel я вручную удалил 10 000 строк). Загрузка товаров проходит где-то за 3 минуты, но:
начинают дублироваться категории, причем, если в excel оставить только одну категорию верхнего уровня (Около 1000 строк), то дубли исчезают.

Оригинал прайс-листа
Конфиг catalogfill
принтскрин задублированных категорий
файл ошибки при загрузке

Сейчас выгрузил первые 2000 строк, вот какие ошибки вылезли
Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/ already exists for resource id = 1245; skipping duplicate resource URI for resource id = 1249

Resource URI catalog/instrument-abrazivnyy-golovki-shlif-ye/golovki-shlif-tsilindricheskie-awgts/ already exists for resource id = 1248; skipping duplicate resource URI for resource id = 1250

Подскажите пожалуйста, что они означают?
Вот как выгрузился каталог

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

причем на каждый товар

[2016-06-15 11:36:59] (ERROR @ /assets/components/catalogfill/connector.php) Array
(
   [content] => Array
       (
           [deleted] => 0
           [published] => 1
           [template] => 3
           [articul] => 00-00000001
           [pagetitle] => Заготовка - брусок  4х 4х200мм Р6АМ5 HRC 64-66 "CNIC"
           [price] => 123,9
           [unit] => шт
           [alias] => 00-00000001
           [resource_id] => 47
       )

   [category] => Array
       (
           [0] => Array
               (
                   [0] => 2
                   [1] => Заготовки для резцов и осевого инстр-та
               )

           [1] => Array
               (
                   [0] => 2
                   [1] => Заготовки - бруски квадратные Р6АМ5
               )

       )

   [tv] => Array
       (
       )

)

Убрал поле описание , Загрузил 2000 товаров. В журнале modx вот такие ошибки:

[2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:06] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:07] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:09] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:11] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 156
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 163
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/ already exists for resource id = 148; skipping duplicate resource URI for resource id = 166
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/ already exists for resource id = 176; skipping duplicate resource URI for resource id = 183
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/ already exists for resource id = 186; skipping duplicate resource URI for resource id = 189
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-otreznye/ already exists for resource id = 155; skipping duplicate resource URI for resource id = 157
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-pryamogo-profilya-pp/ already exists for resource id = 162; skipping duplicate resource URI for resource id = 164
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy/krugi-shlifovalnye-chkchts-t/ already exists for resource id = 165; skipping duplicate resource URI for resource id = 167
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-abrazivnyy-shlifshkurka/shlifshkurka-na-tkanevoy-osnove-vodost/ already exists for resource id = 182; skipping duplicate resource URI for resource id = 184
[2016-06-15 11:43:13] (ERROR @ /assets/components/catalogfill/connector.php) Resource URI catalog/instrument-almaznyy/almaznye-golovki/ already exists for resource id = 188; skipping duplicate resource URI for resource id = 190

Вот принскрин ресурсов

Где прочитал, что обязательно при импорте должен быть использован один tv. А у меня вообще tv нет, может с этим связано?

Заметил вот такой момент. Если импортирую только 1 Категорию с Подкатегориями, например "Алмазный инструмент", то все загружается нормально

Попробовал загрузить 2000 товаров в режиме отладки, в журнале выскакивают вот такие ошибки:

Это не ошибки, а информация.

Проверю у себя. Позже отвечу.

Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.

У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.

@Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

У меня в excel товар отсортирован по id от 000001 до 020000. А в момент присвоения id в modx как будто сортировка категорий идет по имени.

Если это отдельный вопрос, то в отдельную тему, пожалуйста. Иначе будет бардак.

Вообще надо сначала добиться чтобы не было вообще дубликатов (одинаковых алиасов в одной категории). А потом уже импортировать.

Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?

@Andchir сказал CatalogFill дубли при загрузке более 10000 товаров:

Тут я предположил, что у вас при настройке импорта появились проблемы с алиасами и вы без исправления этой проблемы импортировали товары. Это так?

Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

Так выглядит товар в таблице migx после загрузки

@Артем сказал CatalogFill дубли при загрузке более 10000 товаров:

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content

Алиасы у меня формируются из кода товара. Этот код 1С присваивает автоматически (дублей быть не может).

Для категорий тоже? Вообще это не важно. Дубликаты алиасов могут появиться по многим причинам. Например, делали настройку, проверяли и т.п. что-то не так указали в конфиге, не туда нажали. Перед импортом нужно очистить кэш и убедиться что нет никаких сообщений об ошибках.

Еще одна проблема имеется:
Когда я удаляю ресурсы из таблицы modx_shop_content товары не удаляются. приходится их удалять вручную

Надо нажимать "Очистить кэш".

@whitebyte

Они и не должны. Если у вас таблица MIGX, то товары не лежат в modx_shop_content

Почему это?

@Andchir перепутал modx_shop_content и modx_site_content. Должны, конечно же.

@Andchir А вы не пробовали загрузить к себе мой файл XLS ?
Конфиг и файл вот они:

Конфиг
XLS Файл

А вы не пробовали загрузить к себе мой файл XLS ?

Я загрузил 30% прайса (6000 с лишним товаров). Ошибок не обнаружил. Вот скриншот:

Единственная проблема - цена. Разделитель копеек должет быть - точка. Это можно поправить через "filter_import" в конфиге.

@Andchir Подскажите пожалуйста как именно можно поправить разделитель через "filter_import" в конфиге? При импорте запятые в точки, при экспорте наоборот.

@tartaren Создайте отдельную тему, не надо мусорить.