При несуществующем RequestMapping возвращается 500 вместо 404

Такое бывает, когда путь содержит двойной слэш.

В этом случае шаблон Thymeleaf не будет найден (см. https://github.com/spring-projects/spring-framework/issues/20155). Также Spring Security может бросить RequestRejectedException: The request was rejected because the URL was not normalized.

Для того, чтобы это исправить можно как-то нормализовывать такие пути, но это может быть небезопасно (и именно из-за этого Spring так себя ведет). Другой подход состоит в том, чтобы узнать какие исключения выбрасываются и сделать для них ExceptinHandler-ы. Если вы пойдете по этому пути, имейте ввиду, что не все механизмы для обработки исключений в Spring будут работать, так как вышеназванные исключения могут происходить на ранних этапах обработки запроса. Это особенно касается исключения от Spring Security так как он происходит в Servlet Filter-е еще до того, как выполнение дойдет до Spring MVC.