Отключить возможность ввода букв

Есть спан с возможностью редактирования, использовать просто инпут не вариант потому что он сразу ломает всю верстку. Нужно чтобы при нажатии на любую букву она игнорировалась, именно игнорировалась, а не появлялась и сразу же исчезала, на данных момент она появляется и исчезает, как можно сделать полный ее игнор?

HTML
<div class="card-page__count">
    <button class="card-page__btn-minus">-</button>
    <span class="card-page__count__span">
       <span contenteditable="true" class="card-page__count__span__responce">1</span>
       шт
    </span>
    <button class="card-page__btn-plus">+</button>
</div>

JS
cardPageCount.addEventListener('keyup', (event) => {
   if (event.keyCode >= 65 && event.keyCode <= 90) {
         сardPageCount.textContent = '';
         return false; // не работает
   }
});