Как работает onmouseover в html тэгах?

В приведенном коде нет кавычек вокруг underline, поэтому в момент выполнения будет искаться переменная с таким именем, и если ее нет, будет соответствующая ошибка.

Для исправления достаточно обрамить все кавычками, например так:

onmouseover="this.style.textDecoration='underline'"

Так как этот обработчик отвечает только за ситуацию, когда курсор находится над элементом, при уходе курсора, никакой код не выполняется и стиль остается тем, который был присвоен:

text-decoration: underline

Для решения, можно использовать события mouseout, mouseleave

Лучшее решение, не использовать для цели указанной в вопросе скрипты, а использовать css.

Почему не сработал вариант со стилем в вопросе?

Потому что Inline-style, имеют более высокий приоритет, и

style="text-decoration:none;"

Просто всегда перебивал стиль указанный в теге style.

Для решения, можно убрать inline-style, и добавить правило в tag:

a { text-decoration:none; }
a:hover { text-decoration: underline; }