box-shadow or border [дубликат]

Во-первых, у вас <button> внутри <a> — не делайте так, достаточно одного тега. Если это кнопка, которая делает какие-то действия на этой странице, используйте кнопку, а если это кнопка, которая ведёт на другую страницу — используйте ссылку.

Во-вторых, конкретно в этом случае, чтобы убрать эту декорацию, используйте стиль a[data-toggle="modal"]:focus { outline: none }.

В-третьих, не забывайте о доступности. Элементы, на которых возможен фокус, должны как-то подсвечиваться для пользователя — походите по своему сайту с помощью клавиши TAB и сами поймёте зачем это нужно. Так что мой совет — избавьтесь от аутлайна, если он портит ваш дизайн, но добавьте стили для состояния фокуса.

Проблема в том, что вы жмете на ссылку a, а не на button. Для ссылок у вас установлен outline: 5px auto -webkit-focus-ring-color;. Чтобы переопределить задайте для a href="#myModal" - outline:none;