Java bad operand types for binary operator '||'

А чего вы ожидаете от этого request.getParameter("name") || request.getParameter("publishing_house")?

getParameter строку возвращает. Может вы хотели на null проверять?

if (request.getParameter("name") != null || request.getParameter("publishing_house") != null || request.getParameter("the_year_of_publishing") != null )

Но даже так ваш код не будет компилиться, т.к. у вас books не определена вне скопа ваших if'ов, и компилятор выдаст ошибку на этой строке model.addAttribute("books", books);.

Весь код тогда будет таким:

@RequestMapping(value = "/books", method = RequestMethod.GET)
public String books(final HttpServletRequest request, final Model model) {
    List<Book> books;
    if (request.getParameter("name") != null || request.getParameter("publishing_house") != null || request.getParameter("the_year_of_publishing") != null) {
        books = bookService.booksBySearch();
    } else {
        books = bookService.getAll();
    }
    model.addAttribute("books", books);
    logger.debug("running in BookController.java -> books()");
    logger.info(JSON.toJSON(request.getRequestURI()));
    logger.info(JSON.toJSON(books));
    return "/book/list.jsp";
}