Как передать массив byte из java в c++

Потому, что объявление функции некорректно. Утилита javah генерирует такое определение

JNIEXPORT jstring JNICALL Java_MainActivity_stringFromJNI
  (JNIEnv *, jobject, jbyteArray);

Обратите внимание, что jbyteArray - это не byte[], это тип ссылки на массив байт.

JNIEXPORT jstring JNICALL Java_MainActivity_stringFromJNI(JNIEnv* env, jobject obj, jbyteArray b) {
    jsize size = env->GetArrayLength(b);
    jbyte* buffer = env->GetByteArrayElements(NULL);
    ...
    env->ReleaseByteArrayElements(b, buffer, JNI_ABORT);
}