Последние темы


CatalogFill после НГ импортирует не все товары

  • MODX Revolution 2.5.0-pl
    CatalogFill 2.4.8-pl

    Здравствуйте, конфигурации импорта не менялись с августа месяца, все работало как часы до НГ, после праздников импорт почему то добавляет не все товары из Файла

    Стоит проверка соответствия по ТВ - КОД ТОВАРА (все уникальные)

    //проверять соответствие товара при обновлении по значению TV. Указать ID TV. false - не проверять (очистка категории при обновлении).
    $cf_config['imp_chk_tvid_val'] = 64;
    

    Немного потыкав, понял, если поменять код на те товары, которые перестали импортироваться на произвольный - они добавляются..

    Я так понимаю импорт стал считать, что товары с данным кодом уже добавлены и обходит их. Но их реально нет. Раньше удалял / добавлял все без проблем. Подскажите от чего такое может быть.

  • Там вроде есть настройка заменить существующие. Может таким макаром импортируются?)

  • @kostya_slam она вкл. При импорте ставлю радио переключатель на ОБНОВИТЬ. Как и всегда. Раньше те товары, код которых уже есть - пропускались, те которых нет добавлялись. А тут рандомно какие то добавляет, какие то пропускает..

  • Добрый день!
    Импортируете из excel? У вас где-нибудь остались старые файлы импорта excel и бекап ранних версий сайта?

    Если да, то попробуйте:

    1. Взять файл, который гарантировано импортировался корректно, поменять в нем только одно поле на легко проверяемое значение, например цену, на 777 рублей.
      И импортировать в новую версию сайта. Если все сработает, значит ошибка в вашем новом файле импорта.

    Если нет, значит идем дальше:
    2) Берем бекап сайта и на нем проверяем импорт из старого файла. Если все импортируется, попробуйте грузануть новый файл. Если и тут все сработало, значит что-то меняли на сайте, скорее всего в конфигах CatalogFill.

    На первом шаге важно брать не текущий файл, а именно какой-то старый прайс, который вы когда-то грузили и он подошел, т.к. в excel тоже очень легко все испортить так, что и не видно будет разницы.

    Я всегда храню бекапы сайта и старых прайсов, для таких случаев.

  • Участник @e.a.novgorodov написал в CatalogFill после НГ импортирует не все товары:

    Я так понимаю импорт стал считать, что товары с данным кодом уже добавлены и обходит их. Но их реально нет. Раньше удалял / добавлял все без проблем. Подскажите от чего такое может быть.

    Еще вопрос, импортируете в ресурсы модх или в свою базу? И где смотрите, что этих товаров нет? В SQL базе сайта или просто по выводу в каталоге?

  • @slaad бэкап делал на 2 недели назад - толку ноль, завтра попробую найти старый файл импорта

  • @slaad в самом ModX, а если в БД смотреть, это в какую таблицу?

  • @e.a.novgorodov
    В бд это должна быть modx_site_content

  • @e.a.novgorodov

    А тут рандомно какие то добавляет, какие то пропускает..

    1. Удалите все файлы в папке кэша /core/cache/.

    2. Сделайте файл поменьше и проверяйте на нем. Если найдете один товар, который всегда не добавляется, а должен, то проверьте сами в базе данных. Может где-то есть этот код товара, но не привязан к документу.

  • @slaad @Andchir сделал новый файл выгрузки, прям 100% рабочий и все тестил на нем (маленький, на 7 товаров)

    1. очистил папку /core/cache/ - Безрезультатно
    2. прошарил БД в таблицах site_content, site_tmplvar_contentvalues (ну и все что было похожее тоже просматривал) - товаров с таким кодом/названием точно нет
    3. пробовал выкладывать в другой каталог, в котором априори не было ни одной позиции - вообще не добавляет
    4. ошибок не выдает
    5. пробовал переустанавливать сам Catalogfill - безрезультатно
    6. когда при импорте выбираешь не ОБНОВИТ а ДОБАВИТЬ - добавляет все что есть, но тогда получаются дубликаты.
      Получается файл то рабочий, конфиг рабочий ( 100% ничего не менялось, доступ только у меня). Я понимаю, что где то в БД трабла, а как найти то (((
  • @slaad @Andchir О!! нашел, блин извините!! в таблице site_tmplvar_contentvalues есть реально код товара, который не добавляется!
    А как сбросить то те, которых по факту то нет? и почему они не удалились не понимаю.

  • @slaad @Andchir
    Вот в БД код

    0_1484041966199_upload-cb047711-593b-4e7a-975e-21e3cb222e03

    когда перехожу по contentid (в адресной строке админки) для редактирования ресурса пишет, что ресурса нет
    0_1484042053262_upload-07987c22-c97d-41aa-b3b6-f657908db8fe

  • Вот только хотел написать, что плохо искали))

    Все понятно, у вас ресурсы удалились, а связанные с ними ТВшки остались.
    Тут лучше Andchir поможет, я с ходу не могу придумать, как побороть.

  • @slaad а как эти ресурсы удалялись?

  • @slaad так же через catalogfill, конфиг прогоняет коды в файле импорта и "ставит на удаление" потом очищаю корзину
    я так делал каждый день и не по разу на протяжение полугода, проблем не возникало

    Вот кусок кода импорта "на удаление"

    //разбивка по столбцам при импорте и экспорте (content|tv|category)
    $cf_config['content_row'] = array(
        array('Код товара',array(64,'tv')),    
    );
    
    //значения по умолчанию при импорте или проверка при экспорте
    $cf_config['imp_content_default'] = array(
        'content' => array(
    		'deleted' => 1,
            //'createdon' => strtotime("now")
        ),
        'tv' => array(
            //7 => 0
        )
        /*
        'category' => array(
            7 => array(
                'class_key' => 'CollectionContainer'
            ),
        ),
        */
    );
    
  • @e.a.novgorodov надо ждать Andchir

  • Надо писать скрипт, который вычистит вам БД от лишних значений ТВ. Откуда они взялись вариантов очень много.

  • Вот примерный запрос для phpMyAdmin чтобы найти все лишние ТВ:

    SELECT * FROM `modx_site_tmplvar_contentvalues` WHERE `contentid` NOT IN(SELECT `id` FROM `modx_site_content`)
    

    Удалять найденные осторожно, т.к. тестировал я очень мало.

  • @Andchir ДА! то что нужно! в БД запрос по шаблону делаю - находит реально те ТВ, которых не привязаны!
    Пытался как то обработать запрос так, чтобы он еще удалял сразу их, но я в этом не але, поэтому прям готовое решение не запилю))
    Спасибо огромное! реально помогли!

 

Последние комментарии

  • а редактируются они через CMP

    Покажите скриншот. Не понял что за CMP. Но если и не подвязаны, оставьте значение, которое было.
    Вот мой скриншот:
    0_1565682115311_screenshot_179.png

    Читать далее
  • D

    Участник @Andchir написал в Экспорт/импорт данных из таблиц пакетов MIGX db через плагин CatalogFill:

    MIGXDB

    какие родители в элементах migx db?
    это элементы, которые к ресурсам никак не подвязаны!
    а редактируются они через CMP

    Читать далее
  • //Название поля ID родителя $cf_config['parent_field'] = false;

    Почему так? В MIGXDB документы должны иметь родителя. Иначе как вы их добавляете/редактируете в админке?

    Читать далее
  • D

    отключил, очистил
    далее http://joxi.ru/12MEdEvtloelG2 -> http://joxi.ru/VrwXwXZt7RN7Mm
    в журнале ошибок - пусто
    код настройки

    <?php //Название класса таблицы товаров в БД $cf_config['className'] = 'delivery_flight'; //Название пакета таблицы товаров в БД $cf_config['packageName'] = 'delivery_schedule'; //Название поля ID родителя $cf_config['parent_field'] = false; //разбивка по столбцам при импорте и экспорте (content|tv|category) $cf_config['content_row'] = array( array('ID',array('id','content')), array('Наименование',array('name','content')), array('Время',array('time','content')), array('Откуда',array('from','content')), array('Время в пути',array('duration','content')), array('Куда',array('to','content')), array('Время прибытия',array('arrival_time','content')), array('Стоимость',array('price','content')), array('Тариф',array('delivery_rate_id','content')), array('Сортировка',array('sort','content')), ); //значения по умолчанию при импорте или проверка при экспорте $cf_config['imp_content_default'] = array( 'content' => array( 'deleted' => 0, 'published' => 1, //'template' => 9 'createdon' => strtotime("now") //'publishedon' => strtotime("now") //'pub_date' => strtotime("now") //'editedby' => 1 //'editedon' => strtotime("now") ), 'tv' => array( //7 => 0 ) ); //первая строка - названия полей $cf_config['include_captions'] = true; //число товаров импортируемых за один раз (загрузка по группам). 0 - не ограничивать. $cf_config['batch_import'] = 300; //разбивать по категориям $cf_config['include_categories'] = false; //удалять дочерние категории при очистке и обновлении каталога $cf_config['delete_subcategories'] = true; //по какому полю проверять соответствие товара при обновлении. false - не проверять (очистка категории при обновлении). $cf_config['imp_chk_field'] = false; //проверять соответствие товара при обновлении по значению TV. Указать ID TV. false - не проверять (очистка категории при обновлении). $cf_config['imp_chk_tvid_val'] = false; //Добавлять товары, которые не найдены при обновлении по TV (imp_chk_tvid_val) или полю (imp_chk_field) $cf_config['imp_if_not_exist'] = true; //удалять HTML-теги при экспорте $cf_config['exp_strip_tags'] = false; //автоматически генерировать псевдоним (alias) при импорте //false - выключено; true - генерировать с переводом в транслит; 'notranslit' - генерировать без перевода в транслит. $cf_config['imp_autoalias'] = false; //Изменить значения поля для всех вложенных товаров до начала импорта. //Например можно отменить публикацию для всех товаров и публиковать только те, которые есть в новом прайс-листе. //первый массив - какие поля и на какие значения менять, второй массив - условия которые нужно проверять (можно сделать пустым) $cf_config['imp_before_change'] = false;//'[{"tv.inventory":0},{}]';//'[{"published":0},{"tv.pricename":"Поставщик1"}]';//false - для отмены //удалить файл после экспорта (скачивания) $cf_config['exp_delete_file'] = false; //кодировка CSV-файла при экспорте $cf_config['exp_csv_charset'] = 'UTF-8'; //'windows-1251' //Импортировать (обновлять) пустые значения $cf_config['imp_empty'] = true; //Имя файла процессора, который использовать для импорта. Если пусто, используется стандартный процессор "import". $cf_config['imp_custom_processor'] = ''; //путь (xpath) в XML структуре до товаров $cf_config['imp_xml_itemsparent_path'] = '';//'/catalog/shop/offers'; //Структура XML файла для импорта $cf_config['imp_xml_structure'] = ''; //тестирование конфигурации (без записи в БД). Отчёты -> Журнал ошибок. $cf_config['imp_testmode'] = true; //функция для фильтрации значений при ИМПОРТЕ function filter_import($value_arr){ $output_arr = $value_arr; /* if(isset($output_arr['content']['pagetitle'])) $output_arr['content']['pagetitle'] = mb_strtoupper($output_arr['content']['pagetitle'], 'UTF-8'); */ return $output_arr; } //функция для фильтрации значений при ЭКСПОРТЕ function filter_export($value_arr,$doc_id=0){ $output_arr = $value_arr; //var_dump($value_arr,$output_arr); //exit; /* if(isset($output_arr['price'])) $output_arr[1] = floatval($output_arr[1]) - 200; */ return $output_arr; } ?>

    shema пакета, для которого написана настройка

    <model package="delivery_schedule" baseClass="xPDOObject" platform="mysql" defaultEngine="MyISAM" version="1.1"> <object class="delivery_rate" table="delivery_rates" extends="xPDOSimpleObject"> <field key="name" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="color" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="desc" dbtype="text" phptype="string" null="false" default="" /> <field key="sort" dbtype="int" precision="10" phptype="integer" null="false" default="500"/> <field key="deleted" dbtype="tinyint" precision="1" attributes="unsigned" phptype="integer" null="false" default="0" /> <field key="published" dbtype="tinyint" precision="1" attributes="unsigned" phptype="integer" null="false" default="1" /> <field key="createdon" dbtype="datetime" phptype="datetime" null="true"/> </object> <object class="delivery_flight" table="delivery_flights" extends="xPDOSimpleObject"> <field key="name" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="from" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="time" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="duration" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="to" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="arrival_time" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="price" dbtype="varchar" precision="255" phptype="string" null="false" default=""/> <field key="sort" dbtype="int" precision="10" phptype="integer" null="false" default="500"/> <field key="delivery_rate_id" dbtype="int" precision="10" phptype="integer" null="false" default="0"/> <field key="deleted" dbtype="tinyint" precision="1" attributes="unsigned" phptype="integer" null="false" default="0" /> <field key="published" dbtype="tinyint" precision="1" attributes="unsigned" phptype="integer" null="false" default="1" /> <field key="createdon" dbtype="datetime" phptype="datetime" null="true"/> <aggregate alias="Delivery_rate" class="delivery_rate" local="delivery_rate_id" foreign="id" cardinality="one" owner="foreign" /> </object> </model>

    Читать далее