local variables referenced from a lambda expression must be final or effectively final при фильтрации символов в строке

Захваченное лямбда-выражением локальное значение должно быть effectively final. Этого можно добиться, например, с помощью создания final-переменной:

final ch = chArray[i];
if (word.chars().filter(num -> num == ch).count() > 1)

А вообще можно переписать решение, чтобы оно работало не за O(n^2), а за O(n) (n - длина слово).
Для этого достаточно проходить по слову два раза: первый раз для подсчета количества вхождений символов и сохранения результатов в Map, а второй - для сбора итоговой строки по данным из Map.
Также для сбора строки лучше использовать StringBuilder, а не конкатенацию строк.

Итоговый код:

static String encode(String word)
{
    HashMap<Character, Integer> charToCount = new HashMap<>();
    char[] chars = word.toLowerCase().toCharArray();
    for (char ch : chars)
    {
        int currentCount = charToCount.containsKey(ch) ? charToCount.get(ch) : 0;
        charToCount.put(ch, currentCount + 1);
    }
    StringBuilder sb = new StringBuilder(word.length());
    for (char ch : chars)
    {
        char replaceChar = charToCount.get(ch) == 1 ? '(' : ')';
        sb.append(replaceChar);
    }
    return sb.toString();
}

P.S. Зашел на сайт задания - нужно ещё игнорировать регистр букв, добавил это в код