генерация больших XML
Генерирую xml для различных сервисов . В базе данные добавляются с каждым днем и на данный момент сам скрипт тратит на генерацию 40 - 50 тыс записей более 1.3 гб памяти.
Основную часть памяти забирает выборка из базы всех записей (в выборке только нужные колонки указаны).
Подскажите, как выходить в данном случае ? полагаю, что нужно выборку из базы как-то грамотнее сделать , возможно как-то ее разделять или лимитировать ?
Скрипт на данный момент генерируется раз в час-два
Данные из БД следует выбирать в цикле чанками, например по 100 записей раз за разом.
Оптимальное количество записей в чанке зависит от сложности запроса, самих данных и железа. Избегайте offset для выборки, он ресурсоёмок.
В этом же цикле поточно записывать файл, в данном случае стандартный XMLWriter отлично подойдёт.
Если файлов много, а исходят они из одних данных, то можно открыть сразу несколько файлов и фильтровать/модифицировать выгрузку под нужды разных сервисов в один проход.
-
10:16
-
17:54
-
22:01
-
13:03
-
12:54
Айфон мало держит заряд, разбираемся с проблемой вместе с AppLab
-
21:25
-
07:04
-
07:46
-
21:56
Перевод документов на английский язык: Важность и ключевые аспекты
- Почему SERVER_ADDR имеет не тот IP 47554 visits
- Как заменить $_SERVER[REMOTE_ADDR] на IP клиента в PHP за двумя Nginx? 30492 visits
- Хочу вывести несколько строк из массива в один div, выводит только много undefined; подскажите, что делать? 23626 visits
- Как через css изменить цвет png изображения? 10348 visits
- Blob video url download 9956 visits
- Php curl запрос через прокси с авторизацией 9208 visits
- Работа с captcha vk api 8090 visits
© "hostciti.net" 19.11.2024 | 17:38