Освободить файл от процесса

Вам следует ознакомиться со стандартной библиотекой .Net:

string fileName = PhotoPath.Split('\\').Last();
// ===>
string fileName = Path.GetFileName(PhotoPath);
fileName.Split('.').Last()
// ===>
Path.GetExtension(fileName)
if (File.Exists(avatarPath))
    File.Delete(avatarPath);
File.Copy(PhotoPath, avatarPath);
// ===>
File.Copy(PhotoPath, avatarPath, overwrite: true);

Далее, используйте следующий метод для неблокирующей загрузки ImageSource:

public static ImageSource NonBlockingLoad(string path)
{
    var image = new BitmapImage();
    image.BeginInit();
    image.CacheOption = BitmapCacheOption.OnLoad;
    image.UriSource = new Uri(path);
    image.EndInit();
    // На случай, если захотите загружать картинки фоново,
    //  а это надо сделать, т.к. пользователь может указать
    //  путь к медленному устройству или сетевой путь
    image.Freeze();
    return image;
}

Ну и, наконец, если вы используете для хранения настроек пользователя локальную БД или нечто подобное, может иметь смысл изменить разрешение картинки (зачем вам FullHD аватарки?) и сохранить картинку прямо в это хранилище в виде массива байтов (или в формате вроде base64), тогда можно будет использовать метод показанный в этом ответе: https://stackoverflow.com/a/9564425/6766879