1с Полная выгрузка на сайт не грузит больше одного часа

RSS
1с Полная выгрузка на сайт не грузит больше одного часа, Ошибка 1с при попытке полной выгрузки упирается в лимит времени или размера файла.
 
Доброго  времени суток. Возникает такая проблема при попытке ( полной выгрузки )  1с формирует zip файл более 7 ГБ и начинает её грузить на сайт по  истечению 1 час - 3600 секунд происходит обрыв код ошибки ниже, он  успевает загрузить 6гб и всё. если грузить частями то норма, то есть  если укладываемся в 1 час то он выгружает и распаковывает.

Со  стороны сайта (сервера) всё лимиты открыты прова на папки тоже норма  ведь по честям он загружает без проблем. (на скринах видно, но там я  немного не успел сделать скрин и пару минут не попало в начале. )

Лог файл на стороне сайта без ошибок.

...............
Настройка PHP 8.1
max_execution_time 6600s.
max_input_time  6600s.
max_input_vars 10000.
memory_limit 6144m.
post_max_size 15000m.
session.gc_maxlifetime 6600s.
upload_max_filesize 12000m.

.......

Настройка nginx

proxy_read_timeout 6600s.
proxy_connect_timeout 6600s.
proxy_buffer_size 128k.
proxy_buffers 4 256k.
proxy_busy_buffers_size 256k.
client_body_timeout 120s.
proxy_send_timeout 6600send_timeout 6600s.

.................................

Ошибка 1с Предприятие.


Интерактивный обмен
06.01.2024 12:51:55 Запуск выгрузки товаров
06.01.2024 13:03:09 Завершено формирование файлов выгрузки товаров
Выгружено товаров: 5 501
предложений: 6 678
картинок: 14 064

В том числе для каталога Основной каталог товаров:
товаров: 5 501
предложений: 6 678
картинок: 14 064

06.01.2024 14:13:15 Выгрузка на сайт завершилась с ошибками.
import.xml: Произошла ошибка на стороне сервера.
Ответ сервера:
failure
Ошибка распаковки архива.
06.01.2024 14:13:25 Завершена выгрузка товаров
...............................

Сайта 1с битрикс ( OS: Ubuntu 22.04 ТаймВеб )

4 CPU
8 Гб RAM
80 Гб NVMe[FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=]
Свободного места на сервере 40ГБ


1с. предприятие 8.3 Управление нашей фирмой 1.6 ( Виндовс сервер , 11)

......
Настройка на сайте 1с обмен

Интервал одного шага в секундах (0 - выполнять загрузку за один шаг): 60с.
Размер единовременно загружаемой части файла (в байтах): 1024000.

.......

Как ускорить загрузку этого Zip файла с сервера 1с.предприятие на сервер сайта ?

Что бы уложиться в этот непонятный лимит ?

Или где может ещё стоять ограничение ?
Изменено: Михаил Базаров - 06.01.2024 14:29:04
 
Конечно тяжело что-то конкретное подсказать, но попоробуйте еще поковырять лимиты FastCGI - если сервер работает в таком режиме.
Вот тут понаписано всякое, но само собой разумно надо лимиты выставлять.
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Ну и стоит почитать логи сервера на момент обрыва
Изменено: Михаил Базаров - 06.01.2024 17:21:28
 
Спасибо, сейчас гляну!

Только что докопался вот до чего, проблема с распаковкой 6гб zip файла. сделал 2 обмена разбив базу
1. часть 2.59гб успешная распаковка.
2. часть 3.29гб успешная распаковка.
2.59 + 3.29 =5.88гб
Но так нам не подходит. ( но всё работает )

А если пускать всю базу 5.88гб то он не распаковывает, в проге 1с пишет (Ошибка распаковки архива)
скрины №2 и №3 успешная распаковка скрин №1 ошибка.Получается где то на сервере есть проблема с распаковкой большой базы ?
 
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
 
Спасибо,сейчас посмотрю, и отпишусь !)
 
Цитата
написал:
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
Попробовал сделать, как Вы сказали, скачал файл на комп распаковал через  7zip без проблем всё норма. хотел запустить в ручную через админку  битрикса он выдал вот такую ошибку ( Ошибка распаковки: [ERR_BAD_FORMAT]  Некорректная структура архива ) хотя с архивом всё норма скрин №4 распаковка на компе.

НО самое интересное запустил в  ручную распаковку через панель на сервере ( FASTPANEL) и всё  распаковалось. скрины №1 это фастпанель, скрин №2 это админка битрикса,   и скрин № 3,  настройка zip в phpinfo - PHP 8.1.2-1ubuntu2.14.


Это как так ? получается нет каких то прав на запуск больших файлов, ведь архив с 3,5гб и 2.5гб он сам запускает, или что ?
Подскажите пожалуйста!, я уже не знаю что делать с ним ))))
Изменено: Михаил Базаров - 08.01.2024 13:39:48
 
Это не пробовали?
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

И в что там в логах самого сервера, на момент ошибки?
 
Проблему пока решил отключением функции в ( Zip сжатие если доступно ) но блин так он конечно обменивается 2 - 2,5 часа, но это лучше чем нечего. )


"И в что там в логах самого сервера, на момент ошибки?" Вообще без каких либо ошибок, он пуст и это очень странно сервер со стороны сайта вообще ничего не видит типа всё норма так и должно быть.
"Это не пробовали?https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function " Ещё нет сейчас думаю им заняться, спасибо!)


Напишу, чем закончилось, если у кого есть предложения либо кто сталкивался напишите пожалуйста как решили эту проблему.
 
Цитата
написал:
Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Он уже переключен "Режим PHP" работает как "Модуль Apache"
Форма ответов
 
Текст сообщения*
Перетащите файлы
Ничего не найдено
Файл
Загрузить картинки
 
Поблагодарить и поддержать:
Или подписаться на boosty канал: Видео на Ютубе