Правильно я решил задачу в условиях JS?

Сам код верный, но есть лишняя операция

var hundred = Math.floor(a % 10);

Можно заменить на

var hundred = a % 10;

a уже целое, и остаток от деления на 10 тоже целое число.

Зато с другой стороны в вопросе не сказано что у вас есть операция Math.floor...

Я бы решил так:

let num = +prompt("Введите число a больше 999", ""); 
console.log(num % 1000 / 100 ^ 0);