Есть программа, в которой проводится цикл и в нем параллельные вычисления. Все вычисления, как я понял, проходят на процессоре, использую всё его ядра. С помощью чего именно я могу переправить все вычисления с процессора на видеокарту, чтобы быстрее всё рассчитывалось?
Посмотрите в сторону OpenCL( Open Computing Language — открытый язык вычислений).
Сборка персонального компьютера от Artline: умный выбор для современных пользователей