Некликабельные кнопки в Unity

Появилась проблема с кнопками.

Всё работает отлично до некоторого момента:

1. После смерти игрока появляется меню, где ему нужно выбрать что он будет
   делать дальше (всего две кнопки).
2. Почти всегда все работает отлично , но иногда кнопки просто не срабатывают(становятся некликабельными) и для продолжения игры нужно перезайти в нее.

Меню я делаю активным и неактивным строкой:

GameObjct.SetActive(true)/(false);

Иерархия (во время бага) :
X1 и X2 - кнопки