Двойной поиск объектов

Ну как вариант: делите препятствия по группам, которые надо удалить, и кидаете их в пустой объект, ему тег присваиваете "delete1", или наоборот, каждому объекту даете дочерний объект со своим тегом, и при коллизии (или чего там у вас) проверяете на тэг (кстати, GameObject.CompareTag, работает быстрее, чем сравнение тэгов ( GameObject.tag="lala") и проверяете родителя, либо проверяете ещё и имя объекта, как вариант - разделите на слои. Ещё (ну как вариант) можете каждому объекту скрипт повесить "RemovalCondition" и через GameObject.GetComponent
Внутри класса сделать public свойство (или, что менее предпочтительно, public поле)

 RemovalCondition agaga;
 agaga = GameObject.GetComponent<RemovalCondition>();
 agaga.MyBool=true;

. (ну или enum и т.д.) В общем все зависит от того, что вы хотите, а реализация может быть разной.