Можно ли закрыть прямоугольник кругом?

Диагональ прямоугольника является диаметром описанной окружности. Потому берём Теорему Пифагора и делаем простую проверку. А результаты работы вашей программы можете проверить тут например.

Получается примерно следующая проверка:

if (r * r >= (a * a + b * b) / 4)
    System.out.println("Можно");
else
    System.out.println("Нельзя");