поиск слов цельных слов

Чтобы найти целое слово, состоящее из ab, используйте границы слова \b:

echo preg_replace('#\b(?:ab)+\b#', '!', 'ab abab abab abababab abea');
                    ^^       ^^
// => ! ! ! ! abea

См. PHP-демо

Подробности

• \b - начальная граница слова (перед текущей позицией может быть начало строки или цифра/буква/знак подчёркивания)
• (?:ab)+ - одно или более повторений последовательности букв ab ((?:...) — незахватывающая группа, используемая только для группирования символов/шаблонов)
• \b - конечная граница слова (после текущей позиции может быть конец строки или цифра/буква/знак подчёркивания)

Используйте опережающую отрицательную проверку:

echo preg_replace('~(ab)+(?!ea)~', '!', 'ab abab abab abababab abea');
// Вывод : ! ! ! ! abea