Как правильно распарсить строку?

Ошибка вот в чем: вы сначала разделили строку по знаку умножения ("sin(30)*cos(60)/2" -> "sin(30)" был знак умножения "cos(60)/2"), а потом по знаку деления("sin(30)*cos(60)/2" -> "sin(30)*cos(60)" был знак деления "2"). Все результаты и добавили.
Как можно решить вашу проблему? Начнем с определения задачи: поделить строку на множество строк, между которыми раньше стояли некие специальные знаки(в нашем случае '/', '*', '+', '-'). Вот алгоритм, решающий эту проблему в лоб:

public static ArrayList <String> partOfFormula(String formulaStr){
    ArrayList<String> listOfParts = new ArrayList<String>(); 
    // id символа, начинающего строку между знаками
    // Например, в строке "23*21*45", beginOfNextPart последовательно принимает значения 0, 3, 6.
    int beginOfNextPart = 0;
    char[] formulaChars = formulaStr.toCharArray();
    for(int i = 0; i < formulaChars.length; i++) {
        if(isSign(formulaChars[i]) && (formulaChars[i] != '-' || beginOfNextPart != i)) {
            listOfParts.add(formulaStr.substring((beginOfNextPart == -1) ? 0 : beginOfNextPart, i));
            beginOfNextPart = i + 1;
        }
    }
    // Добавляем "хвост"
    // Например, у "2*20010" хвостом будет "20010"
    listOfParts.add(formulaStr.substring(beginOfNextPart, formulaStr.length()));
    return listOfParts;
}
private static boolean isSign(char c) {
    return  c == '+' || c == '-' || c == '*' || c == '/';
}