Как при помощи foreign key удалять связанные записи в другой таблице при удалении записи из ссылаемой таблицы?

Есть таблица avatars и таблица users. В таблице users есть поле avatar_id. Как связать эти таблицы так, чтобы при удалении пользователя, удалялся и аватар, на который ссылается этот пользователь?

Если бы наоборот avatars ссылался на пользователя, то в этой ситуации понятно в таблице avatars добавляем FOREIGN KEY (user_id) REFERENCES uasers (user_id) ON DELETE CASCADE. Тогда при удалении пользователя удалится и запись аватарки, которая на него ссылается. Но в моём случае пользователь ссылается на аватарку.