Недостаточная точность типа double

Вы просто старшую степень всегда вычитайте полностью! Зачем же потом опять множить?

(ax^3+bx^2+cx+d) / (ex^2+fx+g) => // первый член - ax/e  

Остаток: (bx^2+cx+d - (afx^2/e+agx/e)), дальше делите его...
При члене x^3 коэффициент по определению нулеdой!

Более-менее понятно? жутко не хочется строить все это в TeX'е...

Вы не указали никакого кода, который помог бы решить проблему, ведь она зависит от того, как именно вы сравниваете числа типа double. Я догадываюсь, как вы это делаете, а потому предлагаю после произведённых вычислений делать следующее. Если некое число по абсолютному значению меньше чем заданная заранее точность, например, const double EPS = 1e-8, то намеренно делаем это число равным нулю. Типа того:

if (abs(a) < EPS)  a = 0.0;

Был бы код, я бы конкретно показал, где и как это сделать, но, думаю, вы уже и так поняли.

Переписать алгоритм. Он должен только один раз определять степень многочлена, а потом работать так, что на каждой итерации обрабатывается только суффикс массива. Ну и с нулём надо сравнивать с некоторой точностью, как написали в других ответах.