Поиск и замена подстрок “[N]” и “(N)” в строке

Скобки как и прочие спец. знаки надо экранировать знаком экрана \.
И не забывайте, что \ экран не только в regexp, но и в строках java.
Поэтому в java для изображения одного \ надо писать два \\.

String s = "qwerty [5] uiopp (6) asdf (1) hjkl; [3]"
                 .replaceAll("\\[(\\d)\\]", "R$1")   // \[(\d)\]
                 .replaceAll("\\((\\d)\\)", "X$1");  // \((\d)\)

Круглые скобки без экрана отмечают группу символов, которую можно использовать в строке замены. Вместо $n подставляется группа номер n.