отличие библиотек <math.h> и <cmath> и вопросы точности

<cmath> - это по большому счету <math.h>, только завернутая в пространство имен std. Или <math.h> - вытащенные из std функции <cmath>...

Проблемы с точностью вычислений связаны с ограниченной точностью представлений чисел с плавающей точкой. Библиотечные функции использовали свои "программно-написанные" функции разве что во времена 80386, когда еще было математический сопроцессор - было удовольствие не на каждой машине. Дело не в этом, а в том, что как ни старайтесь, но законы математики не перепрыгнуть, и действительно надо прибегать к математическим преобразованиям для таких вычислений - вплоть до того, что часто изменение последовательности суммирований существенно меняет результат.

Кстати, некоторые компиляторы при long double все равно используют обычный double - например, Visual C++. Проверьте, что там у вас...

Для длинной арифметики классика жанра это GMP. Но вообще-то так, чтобы было мало long double это должна быть ОЧЕНЬ специфическая задача. Особенно теперь, когда платформа x86 стала 64-х разрядной.