Проблемы с вывод при компиляцией под х86

Это может быть связано с версией вашего компилятора и поддерживаемого им стандарта языка.

Начиная со стандарта С++17 языка С++ левая часть оператора << целиком и полностью вычисляется до правой части. Этот код

std::cout << refcube(x) << " = " << x << std::endl;

должен выводить 27 = 27.

В более ранних версиях языка выводится может и 27 = 3 и 27 = 27. Поведение не специфицировано.

Как только вы разбиваете это выражение на два отдельных выражения, неоднозначность исчезает во всех версиях спецификации. Вывод должен быть 27 = 27.

double refcube(double &x)
{
    x *= x * x;
    return x;
}

Измените на:

double refcube(double x)
{
    x *= x * x;
    return x;
}