LayerMask | Unity 2018.3f

Маску вы может и задали (кстати, задали вы ее неверно), а где вы ее используете?

LayerMask myMask = 1 << 8;
if (!Physics.Raycast(this.transform.position + Vector3.up, transform.forward, 1f, ?где маска?))
{
    ...
}

Чтобы игнорировать 9 слой, нужно задать маску вот так: LayerMask myMask = !(1 << 9);

1. 1 << 9 -> 10_0000_0000 - маска указывает только на 9й слой
2. ~(1 << 9) -> 01_1111_1111 - маска указывает на все слои, кроме 9го

Чтобы рейкаст учитывал маску, а не использовал дефолтную, пишем:

LayerMask myMask = ~(1 << 9);
if (!Physics.Raycast(this.transform.position + Vector3.up, transform.forward, 1f, myMask))
{
    ...
}

А вообще для таких случаев в рейкасте есть специальный параметр QueryTriggerInteraction, который позволяет игнорировать вообще любые триггеры:

Physics.Raycast(
    this.transform.position + Vector3.up,
    transform.forward,
    1f,
    Physics.DefaultRaycastLayers,
    QueryTriggerInteraction.Ignore
)

Сделайте проще, заведите у себя в компоненте public переменную LayerMask, и используйте сравнение с уже настроенной через редактор переменной. Прописывать в коде номер маски не гуд. Если вам в последствии потребуется заменить слой или сделать более сложную маску из комбинации нескольких слоев, вы просто сделаете настройку через редактор не правя кода.