Привязка нескольких Listbox к одному SelectedItem

Есть несколько ListBox к которым привязываются разные коллекции. И есть панель со свойствами, где пользователь может редактировать выбранный элемент. Поэтому нужно сделать, что может быть выбран элемент только в одном из ListBox.

Я думал, что если сделаю свойство, в котором будет хранится выбранный объект:

public BaseAction SelectedElement
{
    get
    {
        return _selectedAction;
    }
    set
    {
        _selectedAction = value;
        OnPropertyChanged();
    }
}

и сделаю привязку к SelectedItem, то все будет работать, т.к. если ListBox не находит этот элемент у себя, то выделять нечего.

<ListBox ItemsSource="{Bindig UserActions}" SelectedItem="{Binding SelectedElement}" />
<ListBox ItemsSource="{Bindig GroupActions}" SelectedItem="{Binding SelectedElement}" />

Но это не сработало. При выборе элемента в другом ListBox элемент из предыдущего не теряет выделения.

Подскажите, как реализовать задуманное?