Не правильно работает булева функция

Что именно и как вы собираетесь сравнивать - это у вас надо спрашивать. Что вы сейчас сравниваете - то вам ваша функция и возвращает.

1. Смущает часть, где вы переходите к просмотру неких test2->child(childIndex), но при этом все равно сравниваете всех их с test1. Мое гадание на кофейной гуще подсказывает мне, что раз уж вы c правой стороны перешли к test2->child(childIndex), то и с левой стороны надо было бы перейти к test1->child(childIndex)

   if (!test1->child(childIndex)->equals(test2->child(childIndex)))
     return false;
   

   Однако возникает вопрос: а значение какого типа у вас возвращает эта функция child()? Подозреваю, что так просто все не получится и именно поэтому вы "не знаете как ее по другому переписать".

2. Вот это

   const Test* test1 = dynamic_cast<const Test*>(this);
   

   является бессмысленным dynamic_cast, т.е. это пустая операция, эквивалентная

   const Test* test1 = this;
   

3. Умный компилятор, принимая во внимание пункт 2, может выкинуть проверку

   if ((test1 != nullptr) && ...
   

   из первого if, т.к. this никогда не может быть нулевым указателем. Поэтому если у вас test1->child(childIndex) может вернуть нулевой указатель, то не надейтесь, что эта проверка вас защитит.

        if (!test1->child(childIndex)->equals(test2->child(childIndex)))
           return false;