переименовать проект visual studio

От переименовывания папки с решением и файла *.sln ни чего не ломается, это можно сделать в любой момент без последствий.

Теперь переименуем вложенный проект:

• В проводнике находим папку проекта, переименовываем.
• В папке проекта находим файл *.csproj, переименовываем.

Дальше на ваш выбор:

1. • Двойным кликом по *.sln открываем решение в студии, удаляем отвалившийся проект и добавляем заново переименованный из правильной папки.
   • Открываем настройки проекта и исправляем имя выходной сборки и пространства имен по-умолчанию, если необходимо.
2. • Открываем *.sln в любом текстовом редакторе => в начале файла перечислены все проекты, включенные в решение, находим нужный => исправляем имя проекта, имя файла и путь к файлу => сохраняем => закрываем.
   • Открываем *.csproj в любом текстовом редакторе => исправляем пространство имен, имя выходной сборки => проверяем, что пути к файлам проекта не содержат ошибок => сохраняем => закрываем.

В некоторых случаях может потребоваться внести исправления в соседние проекты решения, если они ссылались на измененный проект, правим это либо в обозревателе решений через интерфейс добавления ссылок, либо также, в соответствующих csproj-файлах

Также, рекомендую ознакомиться с официальной документацией на тему Управление решениями, проектами и файлами