Сравнение двух файлов построчно

В первом лежит список нужных строк, во втором большое скопление рандомного бреда из которого нужно взять строки, начинающиеся так же, как и строки в первом файле.

При таком условии строка test4 .03 будет валидной, так как она начинается со слова test.

Если я правильно Вас понял, критерий отбора строки несколько другой. Строка считается валидной, если первое слово в ней соответствует одному из слов в первом файле.

В предположении такого критерия можно написать такой велосипед:

public class Main {
    public static void main(String[] args) throws IOException {
        ArrayList<String> list = getArrayListFromFile("list.txt");
        ArrayList<String> all = getArrayListFromFile("all.txt");
        System.out.println("list: " + list);
        System.out.println("all: " + all);
        deleteStrings(list, all);
        System.out.println("\nAfter removing:");
        System.out.println("all: " + all);
    }
    private static void deleteStrings(ArrayList<String> list, ArrayList<String> all) {
        Iterator<String> it = all.iterator();
        while (it.hasNext()) {
            String currentLine = it.next();
            String firstWord = currentLine.split("\\s+")[0];
            if (!list.contains(firstWord))
                it.remove();
        }
    }
    private static ArrayList<String> getArrayListFromFile(String fileName) throws IOException {
        ArrayList<String> arrayList = new ArrayList<String>();
        BufferedReader bufferedReader = new BufferedReader(new FileReader(fileName));
        String sCurrentLine;
        while ((sCurrentLine = bufferedReader.readLine()) != null) {
            arrayList.add(sCurrentLine);
        }
        bufferedReader.close();
        return arrayList;
    }
}

Вывод на консоль которого будет:

list: [test, test1, test2]
all: [test, test1 .02, test4 .03]
After removing:
all: [test, test1 .02]

PS. Обработка исключений за Вами.