Путь сохранения через WriteAllText

Для начала, подтверждение успешных действий — неправильно. Сообщение нужно выдавать в случае ошибки, а когда всё хорошо, отвлекать юзера нет смысла.

Затем, каталог. Лучше дать юзеру возможность выбрать каталог самостоятельно. Например, так:

var dlg = new FolderBrowserDialog()
{
    Description = "В какой каталог сохранять ключи?",
    RootFolder = Environment.CurrentDirectory,
    ShowNewFolderButton = true;
};
var result = dlg.ShowDialog();
if (result != DialogResult.OK)
    return; // юзер не хочет сохранять, ну и не надо
try
{
    var folder = dlg.SelectedPath;
    File.WriteAllText(Path.Combine(folder, "private.xml"), privatekey, Encoding.UTF8);
    File.WriteAllText(Path.Combine(folder, "public.xml"), publickey, Encoding.UTF8);
}
catch (DirectoryNotFoundException)
{
    MessageBox.Show("Каталог не найден", MessageBoxButtons.OK, MessageBoxIcon.Warning);
}
catch (IOException)
{
    MessageBox.Show("Ошибка ввода-вывода (сбойный диск?)",
                    MessageBoxButtons.OK, MessageBoxIcon.Warning);
}
catch (UnauthorizedAccessException)
{
    MessageBox.Show("Нет доступа, такой файл уже есть или недостаточно прав?",
                    MessageBoxButtons.OK, MessageBoxIcon.Warning);
}
catch (SecurityException)
{
    MessageBox.Show("Недостаточно прав для сохранения",
                    MessageBoxButtons.OK, MessageBoxIcon.Warning);
}