Как удалить лишние символы и оставить одни буквы и пробел

String — неизменяемый класс. Метод replaceAll не изменяет саму строку, а возвращает новую, измененную строку.

Рассмотрим на примере:

String input = "ab";
String result = input.replaceAll("a", "");
System.out.println(input);  //выводится "ab", строка не изменилась
System.out.println(result); //выводится "b"

Соответственно, для исправления нужно обрабатывать возвращаемое из replaceAll значение.

Для этого можно объявить переменную:

for (String string : set) {
    String clearString = string.replaceAll("[^а-яА-Я\\s]", "");
    set2.add(clearString);
}  

Или просто передать в set2 результат:

for (String string : set) {
    set2.add(string.replaceAll("[^а-яА-Я\\s]", ""));
}