MySQL как начать вывод строк после определенного ID?

Всё верно, пагинация через offset предполагает такие артефакты, не говоря о том что такая пагинация медлительна. Направление для решения вы выбрали верное, но вам нужен не абстрактный ID, а сперва вам необходимо явно и недвусмысленно зафиксировать сортировку результата. Запрос where .. limit для пагинации не имеет смысла. У вас обязан быть order by при том включающий в себя какой-либо признак уникальности. Например, имея уникальный идентификатор id и если вы хотите сортировать по не уникальному полю created_at с датой создания сущности, то вам необходима сортировка:

order by created_at desc, id desc

Затем, при необходимости загрузить следующий фрагмент данных, вы передаёте на backend оба значение: и created_at и id последней строки которую вы показали пользователю. И запрашиваете следующую порцию данных:

 WHERE (created_at, id) < (?, ?)
 ORDER BY created_at DESC, id DESC
 LIMIT 10

Просто, элегантно, соответствует стандарту, быстро по составному индексу (created_at, id). Нормально поддерживается только в postgresql... В mysql выполняется логика верно, но без поддержки индекса (впрочем, может у меня устарели сведения), так что объясняем необходимую логику фильтрации вручную:

 WHERE created_at <= ?
    AND NOT (created_at = ? AND id >= ?)
 ORDER BY created_at DESC, id DESC
 limit 10

По материалам статьи Markus Winand, которые весьма рекомендую к прочтению.