Разбор условия if(?:) return;

То, что в скобках:

Если name == null, вычисляется "!name.equals(human.name)"

Если нет, вычисляется "human.name != null"

Оба выражения возвращают тип boolean.

Ну и выражение за скобками: если (найденный boolean == true) вернуть false.

Вообще, в таким случаях надо по шагам преобразовывать код:

if (name == null ? !name.equals(human.name) : human.name != null) return false;

1 шаг: выделяем boolean

boolean flag = name == null ? !name.equals(human.name) : human.name != null;
if (flag) {
   return false;
}

2 шаг: превращаем оператор ?: в просто if

boolean flag;
if(name == null) {
   flag = !name.equals(human.name); 
   // null.equals(human.name); - выкинет NullPointerException
} else { 
   flag = human.name != null;
}
if (flag) {
   return false;
}

3 шаг: учитывая NullPointerException при !name.equals(human.name); код будет равным такому:

if(name == null) {
   throw new NullPointerException();
} 
if (human.name != null) {
   return false;
}