Recaptcha не работает во всплывающем окне magnific popup

В подключаемом виде для всплывающего окна magnific popup напишите следующее в между тегами <form></form>:

<div id="captcha-yes" class="hidden">                   
     <div class="field captcha">
         <div id="captcha_widget"></div><!--В данный div будет добавлена reCAPTCHA после открытия окна magnific popup-->
     </div>
     <!--По примеру из документации Google-->
     <script type="text/javascript">
       //Объявляем переменную
       var widgetId1;
       var verifyCallback = function(response) {
          //При успешной активации reCAPTCHA, удаляем элемент с содержанием ошибки, появившийся при неудачной попытке при проверке reCAPTCHA с помощью ajax (ответ пришедший от сервера), с этим думаю проблем не возникнет
          $('#captcha-yes').find('.error').remove();       
       };
       //Из документации Google
       var onloadCallback = function() {
         widgetId1 = grecaptcha.render('captcha_widget', {
           'sitekey' : 'your_site_key',
           'callback' : verifyCallback         
         });            
       };
     </script>
     <!--Перезагружаем captcha при неудачной попытке-->
     <script>
       function reloadRecaptcha(){   
         grecaptcha.reset(widgetId1);
       }
     </script>
     <!--Из документации Google-->
     <script async defer src='https://www.google.com/recaptcha/api.js?onload=onloadCallback&render=explicit'></script>
</div>

По-умолчанию для div c id="captcha-yes" установлен класс hidden со значением display: none;

Пример для неудачного ответа от сервера:

if(result.error){
   //При каждой повторной ошибке, удаляем старую, чтобы ошибки не дублировались
   $("#captcha-yes").remove();
   //Добавляем div с ошибкой в начало перед reCAPTCHA
   $("#captcha-yes").prepend('<div class="error">Пожалуйста, подтвердите,
 что Вы не робот</div>'); 
   //Пример по Вашему 4 пункту в обновлении вопроса
   if(result.captcha === 'yes'){ 
      //При ошибке удаляем класс hidden для отображения капчи                                     
      $('#captcha-yes').closest('div').removeClass('hidden');
      //Перезагружаем reCAPTCHA
      reloadRecaptcha(); 
    }
}

Более подробно в документации на официальном сайте.

Для примера, когда только открываете окно и значение переменной $rowlog=1:

 <div id="captcha-yes" class="<?php if(!$rowlog):?>hidden<?php endif;?>">
       ...дублировать не буду...
 </div>

Условием <?php if(!$rowlog):?>hidden<?php endif;?> проверяем, если переменная $rowlog=0, то класс hidden отображаем, reCAPTCHA скрыта, когда $rowlog=1 условие не сработает и reCAPTCHA будет отображена во всплывающем окне при открытии.

Будут вопросы, пишите:)

На сколько я знаю гугловые апи - у всех есть два метода инициализации: автоматически и в ручную. Вы пытаетесь использовать автоматический метод, который подразумевает наличие необходимого HTML на странице. Скорее всего (это так, пальцем в небо), у вас есть код на странице, который подключает саму каптчу:

<script type="text/javascript" src="http://www.google.com/recaptcha/api/js/recaptcha_ajax.js"></script>

Он срабатывает на текущий HTML и создает глобальный объект Recaptcha или grecaptcha (нужно поискать в консоли). Для нового HTML вам необходимо запустить инициализацию каптчи еще раз:

 Recaptcha.create("your_public_key",
    "element_id",
    {
      theme: "red",
      callback: Recaptcha.focus_response_field
    }
  );

или

grecaptcha.render('element_id', {
    sitekey: recaptchaSiteKey,
    callback: function(response) {
        console.log(response);
    }
});

Все зависит от версии API, которое вы используете.