Как работает ScriptEngineManager и ScriptEngine?

В Java существует возможность подключать сторонние скриптовые движки. Делается это при помощи ScriptEngineManager через механизм Service Provider. Если говорить простыми словами, ты можешь написать java-приложение, которое будет исполнять, к примеру, Python-код (см пример). Можно подключить и javascript-движок. Одним из таких движков как раз является Nashorn (есть ещё Rhino). Кроме того, он поставляется в стандартном наборе JDK. Более того, в Jdk8 есть даже встроенный web-браузер.

Конкретно по твоему примеру в цикле выполняется javascript код (тут неплохо бы добавить в вопрос реальное содержимое str) наверно содержащий следующее выражение

//var x =...;//значение приходит из Java 
var res=cos(x);
return res;

Но Nashorn не знает о функции cos, в отличии от Firefox или Chrome. Поэтому происходит подмена cos на Math.cos. Плюс идёт подмена имени переменной x на sm, что на мой взгляд кажется сомнительным, можно же просто передавать сразу значение для x при помощи engine.put("x", a);. В итоге получается javascript-код:

//var sm =...;//значение приходит из Java при помощи `engine.put("sm", a);`
var res=Math.cos(sm);
return res;

который и идёт на выполнение в движок Nashorn.

Что касательно кастования к double в

sum += (double) engine.eval(str);

Здесь явно есть проблемы, т.к. согласно сигнатуре метода ScriptEngine#eval возвращается тип Object. Более корректно было бы кастовать к типу Number и потом извлекать примитив при помощи doubleValue примерно так:

sum += ((Number) engine.eval(str)).doubleValue();