Михаил Базаров Разработка на 1С-Битрикс Михаил Базаров

1с Полная выгрузка на сайт не грузит больше одного часа

Внимание! Все сообщения на форуме проходят модерацию. Ваше сообщение появится после проверки.
Доброго  времени суток. Возникает такая проблема при попытке ( полной выгрузки )  1с формирует zip файл более 7 ГБ и начинает её грузить на сайт по  истечению 1 час - 3600 секунд происходит обрыв код ошибки ниже, он  успевает загрузить 6гб и всё. если грузить частями то норма, то есть  если укладываемся в 1 час то он выгружает и распаковывает.

Со  стороны сайта (сервера) всё лимиты открыты прова на папки тоже норма  ведь по честям он загружает без проблем. (на скринах видно, но там я  немного не успел сделать скрин и пару минут не попало в начале. )

Лог файл на стороне сайта без ошибок.

...............
Настройка PHP 8.1
max_execution_time 6600s.
max_input_time  6600s.
max_input_vars 10000.
memory_limit 6144m.
post_max_size 15000m.
session.gc_maxlifetime 6600s.
upload_max_filesize 12000m.

.......

Настройка nginx

proxy_read_timeout 6600s.
proxy_connect_timeout 6600s.
proxy_buffer_size 128k.
proxy_buffers 4 256k.
proxy_busy_buffers_size 256k.
client_body_timeout 120s.
proxy_send_timeout 6600send_timeout 6600s.

.................................

Ошибка 1с Предприятие.


Интерактивный обмен
06.01.2024 12:51:55 Запуск выгрузки товаров
06.01.2024 13:03:09 Завершено формирование файлов выгрузки товаров
Выгружено товаров: 5 501
предложений: 6 678
картинок: 14 064

В том числе для каталога Основной каталог товаров:
товаров: 5 501
предложений: 6 678
картинок: 14 064

06.01.2024 14:13:15 Выгрузка на сайт завершилась с ошибками.
import.xml: Произошла ошибка на стороне сервера.
Ответ сервера:
failure
Ошибка распаковки архива.
06.01.2024 14:13:25 Завершена выгрузка товаров
...............................

Сайта 1с битрикс ( OS: Ubuntu 22.04 ТаймВеб )

4 CPU
8 Гб RAM
80 Гб NVMe[FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=][FILE ID=]
Свободного места на сервере 40ГБ


1с. предприятие 8.3 Управление нашей фирмой 1.6 ( Виндовс сервер , 11)

......
Настройка на сайте 1с обмен

Интервал одного шага в секундах (0 - выполнять загрузку за один шаг): 60с.
Размер единовременно загружаемой части файла (в байтах): 1024000.

.......

Как ускорить загрузку этого Zip файла с сервера 1с.предприятие на сервер сайта ?

Что бы уложиться в этот непонятный лимит ?

Или где может ещё стоять ограничение ?
Конечно тяжело что-то конкретное подсказать, но попоробуйте еще поковырять лимиты FastCGI - если сервер работает в таком режиме.
Вот тут понаписано всякое, но само собой разумно надо лимиты выставлять.
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Ну и стоит почитать логи сервера на момент обрыва
Спасибо, сейчас гляну!

Только что докопался вот до чего, проблема с распаковкой 6гб zip файла. сделал 2 обмена разбив базу
1. часть 2.59гб успешная распаковка.
2. часть 3.29гб успешная распаковка.
2.59 + 3.29 =5.88гб
Но так нам не подходит. ( но всё работает )

А если пускать всю базу 5.88гб то он не распаковывает, в проге 1с пишет (Ошибка распаковки архива)
скрины №2 и №3 успешная распаковка скрин №1 ошибка.Получается где то на сервере есть проблема с распаковкой большой базы ?
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
Спасибо,сейчас посмотрю, и отпишусь !)
Цитата
написал:
Может быть, под конец передачи архива какой-то кусочек не догружается? В итоге архив получается битым.
Попробуйте его скачать и просто распаковать на компе - распакуется ли, если 7zip- ом распаковать покажет на каком файле произошло "битие"
Попробовал сделать, как Вы сказали, скачал файл на комп распаковал через  7zip без проблем всё норма. хотел запустить в ручную через админку  битрикса он выдал вот такую ошибку ( Ошибка распаковки: [ERR_BAD_FORMAT]  Некорректная структура архива ) хотя с архивом всё норма скрин №4 распаковка на компе.

НО самое интересное запустил в  ручную распаковку через панель на сервере ( FASTPANEL) и всё  распаковалось. скрины №1 это фастпанель, скрин №2 это админка битрикса,   и скрин № 3,  настройка zip в phpinfo - PHP 8.1.2-1ubuntu2.14.


Это как так ? получается нет каких то прав на запуск больших файлов, ведь архив с 3,5гб и 2.5гб он сам запускает, или что ?
Подскажите пожалуйста!, я уже не знаю что делать с ним ))))
Это не пробовали?
https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function

И в что там в логах самого сервера, на момент ошибки?
Проблему пока решил отключением функции в ( Zip сжатие если доступно ) но блин так он конечно обменивается 2 - 2,5 часа, но это лучше чем нечего. )


"И в что там в логах самого сервера, на момент ошибки?" Вообще без каких либо ошибок, он пуст и это очень странно сервер со стороны сайта вообще ничего не видит типа всё норма так и должно быть.
"Это не пробовали?https://bazarow.ru/forum/forum11/622-oshibka-v-protsesse-obmena-s-1s-na-sayte-v-rezhime-fastcgi-_-mod_fcgid_-ap_pass_brigade-failed-in-handle_request_ipc-function " Ещё нет сейчас думаю им заняться, спасибо!)


Напишу, чем закончилось, если у кого есть предложения либо кто сталкивался напишите пожалуйста как решили эту проблему.
Цитата
написал:
Как вариант попробовать переключить режим работы php (если уже не в таком режиме), что бы он работал как модуль Apache
Он уже переключен "Режим PHP" работает как "Модуль Apache"
Форма ответов
 
Текст сообщения*
Перетащите файлы
Ничего не найдено
Загрузить картинки
 

Блог-note Заметки по 1С-Битрикс