Файл (каталог) занят другим процессом

Делаю авто-обновление, и перед распаковкой архива с обновлением, я сделал удаление папки с программой (а после программа удаляла временную с обновлятором), дабы не было ошибок с разархивацией. Но вылетает всегда ошибка:

"Процесс не может получить доступ к файлу, так как этот файл занят другим процессом"

Хотя это каталог. Сколько не мучился, сколько не гуглил, ничего не нашёл, связанного с каталогами.

Удаляю папку так:

DirectoryInfo AppDirectory = new DirectoryInfo(AppPath);
if (AppDirectory.Exists) AppDirectory.Delete(true);

Главное, если запустить программу самому, а не через

Process.Start(TempPath + @"\Updater.exe");

То всё работает на ура.

Баг платформы? Или фиксится?