Фильтрация на сайте JS без jquery

На самом деле у вас было много ошибок.

function myFunction() {
    var input, filter, h3, i;
    input = document.getElementById('myInput');
    filter = input.value.toUpperCase();
    h3 = document.getElementsByTagName('h3'); // Здесь в переменной h3 уже содержаться все элементы.
    for (i=0; i<h3.length; i++){
        h3 = h3[i].getElementsByTagName("h3")[0]; // Соответственно здесь не надо вызывать getElementsByTagName (1). К тому же, не надо переопределять h3 переменную, лучше создать новую (2)
        if (document.innerHTML.toUpperCase() .indexOf(filter) > -1) { // здесь не надо смотреть содержимое всего документа, надо смотреть h3(3)
            h3[i].style.display = ""; // здесь в  h3 уже содержится один нужный элемент h3 (4)
        }
        else {
            h3[i].style.display = "none";
        }
    }
}

Посмотрите пример:

function myFunction() { 
  var input, filter, h3s, i; 
  input = document.getElementById('myInput'); 
  filter = input.value.toUpperCase(); 
  h3s = document.getElementsByTagName('h3'); 
 
  for (i = 0; i < h3s.length; i++) { 
    let h3 = h3s[i]; 
    if (h3.innerHTML.toUpperCase().indexOf(filter) > -1) { 
      h3.style.display = ""; 
    } else { 
      h3.style.display = "none"; 
    } 
  } 
}

<input type="text" onkeyup="myFunction()" id="myInput" placeholder="Search for names"> 
<div class="subject" id="subject"> 
  <h3>Физика</h3> 
  <h3>Алгебра</h3> 
  <h3>Геометрия</h3> 
  <h3>Биология</h3> 
</div>