Последние темы


Catalogfill частично не работает после переезда на vds (компонент обновлен, лимиты увеличены)

  • Сайт перенес c обычного хостинга на vds, были траблы с php7 но вроде как решились, кроме Catalogfill. Сразу скажу, что обновлял отдельно PHPExell и обновлял сам компонент до catalogfill-2.4.9-pl1, и установлен доп.компонент, так как вылазила ошибка 'ZipArchive' not found. Но сейчас ситуация следующая: импорт работает на маленькие файлы, но на большой файл не хочет. Уменьшаю его до 50 строк, грузит норм. Обычные файлы обновления у меня разбиты на 2500 строк, столбцов 9 и весят 250-290 кб. Импортирую, крутит обновление ровно 90 секунд и получается такая картина как на скрине.
    0_1553014231611_err.jpg
    В результате первые строки загружены, последние точно не загружен. Где то по середине прерывается.
    Вылазит ошибка:

    2019/03/19 17:19:43 [error] 719#719: *3292 upstream timed out (110: Connection timed out) while reading response header from upstream, client: XXX, server: YYY, request: "POST /assets/components/catalogfill/connector.php HTTP/1.1", upstream: "http://XXX:8080/assets/components/catalogfill/connector.php", host: "YYY", referrer: "http://YYY/manager/?a=2"
    

    Увеличил лимиты:

    • в .htaccess:
      php_value max_input_time 1200
      php_value max_execution_time 1200
    • в apache2.conf поставил timeout c 30 секунд до 600
    • в php.ini заводские стоят
      php_value memory_limit 128M
      php_value upload_max_filesize 20M
      php_value post_max_size 20M

    Ранее до переезда все было в норме.

    Стоит:

    • ubuntu 16/04
    • modx 2.3.3-pl
    • sk 3.2.2-pl

    Какие еще могут ограничения повлиять на это? Засекал, примерно 90 секунд, и далее отрубается все.

  • Можно попробовать уменьшить значение в параметре

    //число товаров импортируемых за один раз (загрузка по группам). 0 - не ограничивать.
    $cf_config['batch_import'] = 300;
    

    (тут показано значение по умолчанию)

  • @Andchir Спасибо, более маленькими пачками дело пошло, выставил 300. Была загрузка по 1000 шт.

    В апач настройках timeout в 600 сек имеет смысл оставлять? или уменьшить лучше?

  • В апач настройках timeout в 600 сек имеет смысл оставлять?

    Имеет, если это сработало.

  • @Andchir
    Еще одна странность. В конфигурационных файлах ничего не менялось.
    Но все вновь обновляемые товары теряют значение родительского ресурса, т.е. категории где они лежали, и родитель становится главный каталог.

    Есть какая то особенность версии catalogfiill 2.4.9-pl1 ? стоял catalogfill-2.4.7-pl

    <?php
    
    //разбивка по столбцам при импорте и экспорте (content|tv|category)
    $cf_config['content_row'] = array(
        array('Код',array(27,'tv')),
        array('Наименование',array('pagetitle','content')),	
        array('Базовая цена',array(138,'tv')),	
    	array('Производитель',array(120,'tv')),	
        array('Остаток',array(143,'tv')),
    	array('Шт в коробке',array(150,'tv')),
        array('Минимальное кол-во',array(144,'tv')),
    	array('Ссылка',array(151,'tv')),
    	array('Алиас',array('alias','content')),
    	array('Поставщик',array(124,'tv')),
      	array('Старая категория',array(137,'tv')),	
    	array('Цена',array(4,'tv')),	
    	array('Статус',array(152,'tv')),	
    	array('Архив',array('hidemenu','content'))
    );
    
    //значения по умолчанию при импорте или проверка при экспорте
    $cf_config['imp_content_default'] = array(
        'content' => array(
            'published' => 1,
    		'template' => 2,
    		'pub_date' => strtotime("now"),
          	'editedon' => strtotime("now")
            //'createdon' => strtotime("now")
            //'publishedon' => strtotime("now")
            //'editedby' => 1
            //'editedon' => strtotime("now")
        ),
        'tv' => array(
            //7 => 0
        )
    );
    
    //первая строка - названия полей
    $cf_config['include_captions'] = true;
    
    //число товаров импортируемых за один раз (загрузка по группам). 0 - не ограничивать.
    $cf_config['batch_import'] = 300;
    
    //разбивать по категориям
    $cf_config['include_categories'] = false;
    
    //удалять дочерние категории при очистке и обновлении каталога
    $cf_config['delete_subcategories'] = false;
    
    //по какому полю проверять соответствие товара при обновлении. false - не проверять (очистка категории при обновлении).
    $cf_config['imp_chk_field'] = false;
    
    //проверять соответствие товара при обновлении по значению TV. Указать ID TV. false - не проверять (очистка категории при обновлении).
    $cf_config['imp_chk_tvid_val'] = '27';
    
    //Добавлять товары, которые не найдены при обновлении по TV (imp_chk_tvid_val) или полю (imp_chk_field)
    $cf_config['imp_if_not_exist'] = true;
    
    //удалять HTML-теги при экспорте
    $cf_config['exp_strip_tags'] = false;
    
    //автоматически генерировать псевдоним (alias) при импорте
    //false - выключено; true - генерировать с переводом в транслит; 'notranslit' - генерировать без перевода в транслит.
    $cf_config['imp_autoalias'] = false;
    
    //Изменить значения поля для всех вложенных товаров до начала импорта.
    //Например можно отменить публикацию для всех товаров и публиковать только те, которые есть в новом прайс-листе.
    //первый массив - какие поля и на какие значения менять, второй массив - условия которые нужно проверять (можно сделать пустым)
    $cf_config['imp_before_change'] = false;//'[{"tv.inventory":0},{}]';//'[{"published":0},{"tv.pricename":"Поставщик1"}]';//false - для отмены
    
    //удалить файл после экспорта (скачивания)
    $cf_config['exp_delete_file'] = false;
    
    //кодировка CSV-файла при экспорте
    $cf_config['exp_csv_charset'] = 'UTF-8'; //'windows-1251'
    
    //Импортировать (обновлять) пустые значения
    $cf_config['imp_empty'] = true;
    
    //Имя файла процессора, который использовать для импорта. Если пусто, используется стандартный процессор "import".
    $cf_config['imp_custom_processor'] = '';
    
    //путь (xpath) в XML структуре до товаров
    $cf_config['imp_xml_itemsparent_path'] = '';//'/catalog/shop/offers';
    
    //Структура XML файла для импорта
    $cf_config['imp_xml_structure'] = <<<EOF
    <Good>
        <Kod>tv8</Kod>
        <Name>pagetitle</Name>
        <Options>
            <Stock>tv5</Stock>
            <Image>tv2</Image>
        </Options>
        <Prices>
            <RegularPrice>tv1</RegularPrice>
            <OldPrice>tv20</OldPrice>
        </Prices>
    </Good>
    EOF;
    
    //тестирование конфигурации (без записи в БД). Отчёты -> Журнал ошибок.
    $cf_config['imp_testmode'] = false;
    
    //функция для фильтрации значений при ИМПОРТЕ
    function filter_import($value_arr){
        $output_arr = $value_arr;
        /*
        if(isset($output_arr['content']['pagetitle']))
            $output_arr['content']['pagetitle'] = mb_strtoupper($output_arr['content']['pagetitle'], 'UTF-8');
        */
        return $output_arr;
    }
    
    
    //функция для фильтрации значений при ЭКСПОРТЕ
    function filter_export($value_arr,$doc_id=0){
        $output_arr = $value_arr;
        //var_dump($value_arr,$output_arr);
        //exit;
        /*
        if(isset($output_arr['price']))
            $output_arr[1] = floatval($output_arr[1]) - 200;
        */
        return $output_arr;
    }
    
    
    ?>
    
  • Есть какая то особенность версии catalogfiill 2.4.9-pl1 ? стоял catalogfill-2.4.7-pl

    В каждой версии есть особенности. Нужно поставить последнюю (на данный момент 2.4.10).

  • @Andchir
    Не помогло.
    Проблема осталась.

  • Да, похоже есть баг. Попробуйте в catalogfill.class.php строку 969

    if($this->config['imp_chk_field']){
    

    заменить на такую:

    if($this->config['imp_chk_tvid_val']){
    
  • @Andchir Заработало! Спасибо

  • Спасибо за содействие! Приношу извинения за неудобства.

 

Последние комментарии

  • @Andchir Спасибо огромное... Сделал как Вы сказали всё получилось... Рабаотает :))) +100500 Вам к карме)))

    Читать далее
  • @Andchir Спасибо попробую...☺

    Читать далее
  • Он реагирует на событие изменения способа доставки, а у меня цена формируется при изменении города...

    Вы может сделать так: Выбираете город, ставите сессию свою внутреннюю, не связанную с Шопкипером. Потом вызываете JS-функцию:

    SHK.selectDelivery('Доставка транспортной компанией');

    которая сделает запрос, где вызовется плагин. В этом плагине вы можете прочитать вашу сессию или куку, которую установили при выборе города. Далее достаете цену и возвращаете значение плагина. В коде Шопкипера ничего менять не нужно.

    Читать далее
  • @Andchir Да про плагин я знаю, но к сожалению он мне не подходит... Он реагирует на событие изменения способа доставки, а у меня цена формируется при изменении города... В этом то и проблема в принципе... В любом случае спасибо большое за ответы... Буду дальше ковыряться...

    Читать далее