div multiselect

Здравствуйте!

Подскажите, пожалуйста, как переписать код, чтобы он выбирал нужный элемент со списка и вставлял его в некий div.j-select__chosen, после, если нужно при нажатии на этот элемент, он обратно возвращался в список.

Сейчас написал код, который работает, но он не универсальный, сейчас можно добавить/удалить/добавить, а после нельзя опять удалить добавленный элемент, вот код:

$('.j-select__dropdown__item').one('click', function() {
        var $this = $(this);
        var chosen = $this.closest('.j-select').find('.j-select__chosen');
        $this.appendTo(chosen);
        $('.j-select__chosen *').on('click', function() {
            var $this = $(this);
            var dropdown = $this.closest('.j-select').find('.j-select__dropdown__scroll');
            $this.appendTo(dropdown);
            $('.j-select__dropdown__item').on('click', function() {
                var $this = $(this);
                var chosen = $this.closest('.j-select').find('.j-select__chosen');
                $this.appendTo(chosen);
            });
        });
    });

HTML:

<div class="j-select">
  <div class="j-select__chosen"></div>
  <div class="j-select__selected">
    <div class="j-select__selected__value">Игры</div>
    <svg class="icon icon--arrow-down">
      <use xlink:href="#icon--arrow-down"></use>
    </svg>
  </div>
  <div class="j-select__dropdown">
    <div class="j-select__dropdown__scroll">
      <div class="j-select__dropdown__item">Игры-0</div>
      <div class="j-select__dropdown__item">Игры-1</div>
      <div class="j-select__dropdown__item">Игры-2</div>
    </div>
  </div>
</div>