Android RadioGroup isChecked

radioGroup.getCheckedRadioButtonId()

Вернет id выбранной радиокнопки в группе, если таковой нет вернет -1.

Так что можешь попробоывть

if (radioGroup.getCheckedRadioButtonId() == -1) {
    //ничего не выбрано
} else {
    //есть выбранная кнопка
}

https://developer.android.com/reference/android/widget/RadioGroup#getCheckedRadioButtonId()

https://developer.android.com/reference/android/widget/RadioGroup