OpenCL на С++ или на Java

Если нужна максимальная производительность - однозначно C++. Программируя на Java мы получаем преимущественно в скорости написания кода и его переносимости. Многие базовые задачи решает виртуальная машина Java, что в свою очередь требует затрат ресурсов на интерпретацию/JIT-компиляцию байт-кода, управления памятью... В C++ же "платишь" ровно за то, чем пользуешься. Для реализации многопоточности и асинхронности подойдет библиотека Boost.Asio. Если проект достаточно сложный чтобы писать логику в асинхронном стиле, можно использовать сопрограммы. Сам пишу с Folly/Fibers. Но тут нужно понимать что если вся логика приложения сводиться к использованию OpenCl, то особого преимущества C++ перед Java нет. Вызовы методов библиотеки OpenCl для обоих языков будут требовать почти одинаковых затрат, тут как раз таки важен остальной функционал приложения.