Парсер, порции контента

205
26 апреля 2017, 12:54

Стоит задача сделать парсер. Использую simple_html_dom.php для dom.
Подскажите, допустим если сильно большой документ, с которого нужно парсить, как нужно сделать, чтобы парсинг был частями в цикле? т.е. чтобы не сильно тратились ресурсы.
допустим такой код:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://test.ru/sitemap.xml');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
$dom = str_get_html($result);
foreach ($dom->find('loc') as $url) {
    ...
}
READ ALSO
Обращение к дружественной функции
c++

Обращение к дружественной функции

Можно ли вызвать friend-функцию из другой, обычной функции того же класса? Если да, то как?

 209
Преобразовать строку в длинное число
c++

Преобразовать строку в длинное число

Есть вектор длины n и строка длины m, содержащая только цифрыНеобходимо в вектор записывать числа с максимум k цифрами, содержащиеся в строке,...

 202
Бинарный поиск в “массиве отрезков”
c++

Бинарный поиск в “массиве отрезков”

Задан упроядоченый vector из double, где каждый элемент представляет собой конец отрезкаНапример, {1,3,5,6,9} -- означает, что существуют следующие отрезки:...

 229
Обращение к левому объекту в перегрузке
c++

Обращение к левому объекту в перегрузке

Недавно начал изучать перегрузку операторовПытаюсь перегрузить оператор * как пересечение множеств, но не могу понять как в данном случае...

 192