RSA в Java__________________

Метод toString() не есть метод сериализации сертификата. Тебе необходимо использовать десериализаторы и сериализаторы:

//десериализация из массива байт bobEncodedPubKey
X509EncodedKeySpec bobPubKeySpec = new X509EncodedKeySpec(bobEncodedPubKey);
KeyFactory keyFactory = KeyFactory.getInstance("RSA");
PublicKey bobPubKey = keyFactory.generatePublic(bobPubKeySpec);
//сериализация в массив байт
byte[] result = bobPubKey.getEncoded()

Оригинал ответа

Публичный ключ RSA состоит из модуля и экспоненты, которые задаются в виде BigInteger, соответственно для сериализации вам надо извлечь модуль и экспоненту сохранить их куда-то, а потом для десериализации сгенерировать обратно публичный ключ из модуля и экспоненты, типа:

//извлечение значений ключа
RSAPublicKey publicKey;
BigInteger modulus=publicKey.getModulus();
BigInteger exponent=publicKey.getPublicExponent();
//сериализация значений ключа
String modulusString=modulus.toString();
String exponentString=exponent.toString();
//восстановление ключа
RSAPublicKeySpec Spec = new RSAPublicKeySpec(new BigInteger(modulusString), new BigInteger(exponentString));
RSAPublicKey newPublicKey=KeyFactory.getInstance("RSA").generatePublic(Spec);