как передать класс как массив?

В glm матрица определена как массив из четырёх векторов размерности 4:

template<typename T, qualifier Q>
struct mat<4, 4, T, Q>
{
    typedef vec<4, T, Q> col_type;
private:
    col_type value[4];

Также для матрицы определён operator[], возвращающий ссылку на i-ый вектор:

template<typename T, qualifier Q>
typename mat<4, 4, T, Q>::col_type & mat<4, 4, T, Q>::operator[](typename mat<4, 4, T, Q>::length_type i)
{
    return this->value[i];
}

Дальше. vec4 определён как T x, y, z, w. operator[] для вектора работает так: проверяется i, и в зависимости от его значения возвращается ссылка на соотвествующую координату:

template<typename T, qualifier Q>
T& vec<4, T, Q>::operator[](typename vec<4, T, Q>::length_type i)
{
    assert(i >= 0 && i < this->length());
    switch(i)
    {
    default:
    case 0:
        return x;
    case 1:
        return y;
    case 2:
        return z;
    case 3:
        return w;
    }
}

Что имеем в итоге: proj[0] возвращает ссылку на вектор, и (proj[0])[0] возвращает ссылку на координату. В памяти это выглядит вот так:
т.е. последовательно. Именно это и имеет значение. glUniformMatrix4fv просит массив из 16 элементов, что мы ему и предоставили