Удаление класса внутри родителя

$(".ml .label").click(function() { 
  $(".ml .label").removeClass("active"); 
  $(this).addClass("active"); 
});

.active { 
  color: red 
}

<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script> 
<table class="ml"> 
  <tbody> 
    <tr> 
      <th>1</th> 
      <td><label class="label">Текст 1</label></td> 
    </tr> 
    <tr> 
      <th>2</th> 
      <td><label class="label">Текст 2</label></td> 
    </tr> 
    <tr> 
      <th>3</th> 
      <td><label class="label">Текст 3</label></td> 
    </tr> 
  </tbody> 
</table> 
 
<table class="ml"> 
  <tbody> 
    <tr> 
      <th>1</th> 
      <td><label class="label">Текст 1</label></td> 
    </tr> 
    <tr> 
      <th>2</th> 
      <td><label class="label">Текст 2</label></td> 
    </tr> 
    <tr> 
      <th>3</th> 
      <td><label class="label">Текст 3</label></td> 
    </tr> 
  </tbody> 
</table>