Проблема с парсингом на PHP

152
21 февраля 2019, 12:40

Надо написать парсер на php. С яндексом работает нормально, но youtube.com, например, не парсит.

Код:

include 'curl_query.php';
require_once 'simple_html_dom.php';
$html = curl_get($url1);
$dom = str_get_html($html);    
$cocos = $dom->find('#header');
foreach ($cocos as $coc) {
    echo $coc->plaintext;
}

Код curl_query.php:

function curl_get($url, $referer = 'https://www.google.ru') {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)');
        curl_setopt($ch, CURLOPT_REFERER, $referer);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        $data = curl_exec($ch);
        return $data;
    }

Ошибка:

Fatal error: Uncaught Error: Call to a member function find() on boolean in C:\OpenServer\OSPanel\domains\parser\parcer.php:39 Stack trace: #0 {main} thrown in C:\OpenServer\OSPanel\domains\parser\parcer.php on line 39

READ ALSO
Сильно лагает/тормозит при скроле сайт

Сильно лагает/тормозит при скроле сайт

сильно лагает при скроле сайт , пытался отследить ( оптимизировать) ничего не вышло http://glavnarzanru/ страница досуг самая лагающая

167
Подскажите по оптимизации запросов

Подскажите по оптимизации запросов

делаю полную выборку на 40 тысзаписей - памяти требует около 130 мб

171
генерация больших XML

генерация больших XML

Генерирую xml для различных сервисовВ базе данные добавляются с каждым днем и на данный момент сам скрипт тратит на генерацию 40 - 50 тыс записей...

133