Меню

1с Полная выгрузка на сайт не грузит больше одного часа

Доброго  времени суток. Возникает такая проблема при попытке ( полной выгрузки )  1с формирует zip файл более 7 ГБ и начинает её грузить на сайт по  истечению 1 час - 3600 секунд происходит обрыв код ошибки ниже, он  успевает загрузить 6гб и всё. если грузить частями то норма, то есть  если укладываемся в 1 час то он выгружает и распаковывает.

Со  стороны сайта (сервера) всё лимиты открыты прова на папки тоже норма  ведь по честям он загружает без проблем. (на скринах видно, но там я  немного не успел сделать скрин и пару минут не попало в начале. )

Лог файл на стороне сайта без ошибок.

...............
Настройка PHP 8.1
max_execution_time 6600s.
max_input_time  6600s.
max_input_vars 10000.
memory_limit 6144m.
post_max_size 15000m.
session.gc_maxlifetime 6600s.
upload_max_filesize 12000m.

.......

Настройка nginx

proxy_read_timeout 6600s.
proxy_connect_timeout 6600s.
proxy_buffer_size 128k.
proxy_buffers 4 256k.
proxy_busy_buffers_size 256k.
client_body_timeout 120s.
proxy_send_timeout 6600send_timeout 6600s.

.................................

Ошибка 1с Предприятие.


Интерактивный обмен
06.01.2024 12:51:55 Запуск выгрузки товаров
06.01.2024 13:03:09 Завершено формирование файлов выгрузки товаров
Выгружено товаров: 5 501
предложений: 6 678
картинок: 14 064

В том числе для каталога Основной каталог товаров:
товаров: 5 501
предложений: 6 678
картинок: 14 064

06.01.2024 14:13:15 Выгрузка на сайт завершилась с ошибками.
import.xml: Произошла ошибка на стороне сервера.
Ответ сервера:
failure
Ошибка распаковки архива.
06.01.2024 14:13:25 Завершена выгрузка товаров
...............................

Сайта 1с битрикс ( OS: Ubuntu 22.04 ТаймВеб )

4 CPU
8 Гб RAM
80 Гб NVMe[FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=]
Свободного места на сервере 40ГБ


1с. предприятие 8.3 Управление нашей фирмой 1.6 ( Виндовс сервер , 11)

......
Настройка на сайте 1с обмен

Интервал одного шага в секундах (0 - выполнять загрузку за один шаг): 60с.
Размер единовременно загружаемой части файла (в байтах): 1024000.

.......

Как ускорить загрузку этого Zip файла с сервера 1с.предприятие на сервер сайта ?

Что бы уложиться в этот непонятный лимит ?

Или где может ещё стоять ограничение ?
Конечно тяжело что-то конкретное подсказать, но попоробуйте еще поковырять лимиты FastCGI - если сервер работает в таком режиме.
Вот тут понаписано всякое, но само собой разумно надо лимиты выставлять.
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Ну и стоит почитать логи сервера на момент обрыва
Спасибо, сейчас гляну!

Только что докопался вот до чего, проблема с распаковкой 6гб zip файла. сделал 2 обмена разбив базу
1. часть 2.59гб успешная распаковка.
2. часть 3.29гб успешная распаковка.
2.59 + 3.29 =5.88гб
Но так нам не подходит. ( но всё работает )

А если пускать всю базу 5.88гб то он не распаковывает, в проге 1с пишет (Ошибка распаковки архива)
скрины №2 и №3 успешная распаковка скрин №1 ошибка.Получается где то на сервере есть проблема с распаковкой большой базы ?
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
Спасибо,сейчас посмотрю, и отпишусь !)
Цитата
написал:
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
Попробовал сделать, как Вы сказали, скачал файл на комп распаковал через  7zip без проблем всё норма. хотел запустить в ручную через админку  битрикса он выдал вот такую ошибку ( Ошибка распаковки: [ERR_BAD_FORMAT]  Некорректная структура архива ) хотя с архивом всё норма скрин №4 распаковка на компе.

НО самое интересное запустил в  ручную распаковку через панель на сервере ( FASTPANEL) и всё  распаковалось. скрины №1 это фастпанель, скрин №2 это админка битрикса,   и скрин № 3,  настройка zip в phpinfo - PHP 8.1.2-1ubuntu2.14.


Это как так ? получается нет каких то прав на запуск больших файлов, ведь архив с 3,5гб и 2.5гб он сам запускает, или что ?
Подскажите пожалуйста!, я уже не знаю что делать с ним ))))
Это не пробовали?
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

И в что там в логах самого сервера, на момент ошибки?
Проблему пока решил отключением функции в ( Zip сжатие если доступно ) но блин так он конечно обменивается 2 - 2,5 часа, но это лучше чем нечего. )


"И в что там в логах самого сервера, на момент ошибки?" Вообще без каких либо ошибок, он пуст и это очень странно сервер со стороны сайта вообще ничего не видит типа всё норма так и должно быть.
"Это не пробовали?https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function " Ещё нет сейчас думаю им заняться, спасибо!)


Напишу, чем закончилось, если у кого есть предложения либо кто сталкивался напишите пожалуйста как решили эту проблему.
Цитата
написал:
Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Он уже переключен "Режим PHP" работает как "Модуль Apache"
Видеоуроки по
1С-Битрикс
на моем Boosty канале Видео
Форма ответов
 
Текст сообщения*
Перетащите файлы
Ничего не найдено
Файл
Загрузить картинки
 

Блог-note: заметки разработчика

Локальный Copilot в PhpStorm / VSCode, с помощью Continue. Свой, бесплатный Cursor

Это краткий план-черновик для видео (само видео ниже). В нем рассказывается о том, как запустить локальную ИИ мо...

Запретить изменения описаний товаров при выгрузке из 1С УТ на сайт

При разработке сайтов на Битрикс, с интеграцией с 1С Управление Тороговлей, нужно запретить изменения полей при обмене. ...

Если товар в корзине, поменять кнопку на "В корзине" в новом шаблоне 1С-Битрикс

Ранее я уже делал заметку на эту тему. Тогда, мы меняли значение input-а при добавлении товара в корзину в старых шаблон...

Фотогалерея на шаблоне новостей в 1С-Битрикс

Частенько стоит задача, по мимо стандартных "Картинка для анонса" и "Детальная картинка", добавить в...

Очистить брошенные корзины с помощью API 1С-Битрикс

Задача: в интернет-магазине накапливается большое количество брошенных корзин, нужно их очистить. Включая и корзины заре...

Уникальный URL для торговых предложений (SKU) с возможностью автоматического выбора предложения при переходе по ссылке.

Задача: на странице товара необходимо реализовать функцию автоматического изменения URL при выборе определенной товарной...

Обновление цен и остатков из текстового файла, в каталоге 1C-Битрикс.

Задача: прочитать txt-файл с ценами и остатками, который выгружает программа учета по FTP, и обновить эти данные в катал...

Получить и вывести пользовательские свойства склада в 1С-Битрикс

Задача: вывести пользовательские свойства в подробном описании склада. При этом, есть и множественные и одиночные поля.

Отфильтровать элементы в Битрикс по свойству привязка к разделам

При создании достаточно сложных интернет-магазинов на Битрикс, иногда встает задача помимо обычной навигации каталогу со...