Асинхронное выполнение задач PHP [закрыт]

Очень хотел снять видеоответ, но сейчас, к сожалению, такой возможности нет. Поэтому просто напишу.

Как вы, наверняка, сами заметили, у вас возникли две задачи: создание очереди и обработка задач этой очереди. Существуют различные инструменты для их решения, но я предлагаю смастерить свой велосипед, чтобы, разобравшись, как это работает сделать осознанный выбор (и возможно на этом велосипеде и поехать).

Шаг 1: Создание очереди задач на выполнение.

Используем базу данных (она уже у вас есть, ничего дополнительно устанавливать не потребуется). Добавляем туда простую таблицу с задачами с полями состояние выполнения, данные для задачи.

Теперь выбираем ID групп и для каждой создаём новую запись в таблице очереди.

Шаг 2: Разгребаем очередь по крону.

Каждые пять секунд запускаем скрипт-воркер (или несколько, с помощью xargs -P, например), который лезет в бд и выбирает одну запись из очереди и помечает её как задача в процессе выполнения. Если свободных задач в очереди нет, скрипт просто завершается. Если удалось получить задачу, скрипт начинает её выполнять (дёргать сторонние апи, что-то писать в базу, обрабатывать картинки и тд). Важно не допустить, чтобы два одновременно запущенных скрипта начали работать по одной задаче. Для этого используйте блокировки вашей бд. По завершении работы над задачей её можно пометить как выполнена или удалить.

Это решение показывает общий принцип работы таких систем. В любом случае вам нужна очередь (в данном случае таблица в бд) и демон, её разгребающий (в данном случае крон).