Первый элемент с классом

1. неверный синтаксис

   {
       $(this).css('background','grey');
   }

   так писать нельзя. Если нужно передать объект с полями, нужно указать эти поля, если нужно передать результат $(this).css('background','grey') надо и передавать результат

2. функция .first - НЕ ПРИНИМАЕТ аргументов, поэтому код можно было сократить до $('#messages').first()

3. ошибочное предположение, что селектор по id: $('#messages') может вернуть больше одного элемента

4. для выставления css-стиля нужно использовать .css метод.

В итоге код должен принять вид: $('#messages').css('background','grey');

Используйте этот код:

$('#messages').first().css('background', 'grey');