Можно ли с помощью JavaScript открыть вкладку в браузере, взять из её HTML данные и вернуть их на первую вкладку?

Черновик функции для решения вашей задачи нужным для вас способом:

function loadContent(link, callback) {
    var tab = window.open(link);
    tab.onload = function() {
        callback(tab.document.body.innerHTML);
        tab.close();
    };
}

Пример вызова

loadContent('https://ya.ru/', function(text) {
   console.log(text);
});

Однако, правильно решать подобные задачи с помощью AJAX-запросов.