Вопрос по кэшировании хэш-кода string'ом

Ну вообще говоря, это очень типовая практика в Java кешировать некоторые результаты именно таким образом.

1. Почему при первом вызове?

Потому что до первого вызова hashcode может и вовсе не потребуется, соотвественно нет никакого смысла его считать заранее. С другой стороны, если приложение запросило hashcode, то нужно вернуть ему корректное значение.

2. Почему именно хэш-код?

Потому что за счет иммутабельности строк хэш-код у строки всегда одинаковый, поэтому никто не мешает его сохранить. К тому же это займет не так много места.

3. Зачем он его кэширует?

Для той же причины, что любое кэширование - для производительности. Вычисление hashcode операция довольно затратная (требуется пройти всю строку и вычислить некоторое значение), с другой стороны hashcode активно используется при работе с различными коллекциями (set, map и т.д.), соотвественно закешировав это значение можно несколько ускорить работу программы при относительно небольших затратах памяти.

Зачем он его кэширует?

Затем, чтобы при повторном вызове hashCode() не вычислять хэш-код заново.

Почему при первом вызове?

Потому что до первого вызова метода hashCode() хэш-код еще не рассчитан, а отдать что-то нужно.

Очевидно предположить что это связано с его immutable свойством

Да, связано. Так как строки неизменяемы, то хэш-код можно закэшировать и не рассчитывать каждый раз заново.