Каким должен быть запрос для сортировки дат?

Как выполнить сортировку дат используя только ORDER BY в следующем порядке:

• дата в будущем от ближайшей до самой дальней
• дата в прошлом от ближайшей до самой дальней

На данный момент SQL запрос выглядит так:

SELECT * FROM table
ORDER BY
    CASE WHEN TIMESTAMP(`time`) > TIMESTAMP(CURDATE()) THEN 1 ELSE 0 END DESC,
    CASE WHEN TIMESTAMP(`time`) = TIMESTAMP(CURDATE()) THEN 1 ELSE 0 END DESC,
    CASE WHEN TIMESTAMP(`time`) < TIMESTAMP(CURDATE()) THEN 0 ELSE 1 END DESC, time ASC

Но в прошедших датах порядок получается от самой дальней до самой ближней даты