Что в нем не правильно? В JS

На самом деле всё работает. Просто когда ты пишешь так:

var a=[5,12,3,11];
a[99]=7;

то в итоге массив с 0-вого элемента по 3 заполняется числами, а также 99 (на самом деле 98) - имеет значение 7. Однако массиву надо заполнить пространство между 3 и 98 элементами и он заполняет их undefined. В итоге в массиве a с 4 по 97 элемент имеют значения undefined и в целом выглядит так:

 (100) [5, 12, 3, 11, undefined × 95, 7]

А дальше в цикле Math.pow(undefined,2) конечно же превращается в NaN