Как узнать директорию в которой лежит программа?

Касательно самоликвидации:

Как выше отметили, пока программа работает она удалиться не может, НО ничего не мешает запустить *.Bat из программы перед ее закрытием удалить.

А еще можно воспользоваться MoveFileEx и файл будет вычищен системой после ребута.

Как правильно написали в комментариях выше, получить путь (включая имя исполняемого файла) можно так

string path = System.Reflection.Assembly.GetExecutingAssembly().Location;

Только путь, без исполняемого файла будет так :

string s = Environment.CurrentDirectory;

А вот удалить программа сама себя не сможет, скажет что процесс занят другим приложением )