Как передать список ссылок для парсинга в curl

248
25 декабря 2017, 14:14

Мне необходимо, чтобы сайты для парсинга брались с файла .txt, но я не знаю можно ли это реализовать, а главное как правильно.

Что я нашёл: Вариантов несколько: Если страницу надо получить с удаленного сервера:`введите

$handle = curl_init(); 
    curl_setopt($handle, CURLOPT_URL, "http://www.example.com/"); 
    curl_setopt($handle, CURLOPT_RETURNTRANSFER, true); 
    $homepage = curl_exec($handle); 
    curl_close($handle); 
echo $homepage;

Но,как видно выше в примере за основу берется только 1 конкретный сайт, а у меня же список урлов в .txt. Я думал найти, что-то типа:

   $url = 'file.txt'; 
$curlCh = curl_init(); 
curl_setopt($curlCh, CURLOPT_URL, $url);

Answer 1

Сперва оборачиваете код CURL в пользовательскую функцию, потом читаете текст.файл в массив, а потом проходите по этому массиву циклом, передавая в функцию-обёртку значения на каждой итерации. Ну и распечатываете полученный массив удобным для вас способом. Например:

// Массив ссылок, полученный из текст.файла
$links = ['http://www.example.com', 'http://www.spravkaweb.ru/mysql/sql'];
$content = [];
foreach ($links as $link) {
    $content[] = get_data($link);
}
echo '<pre>', print_r($content, true), '</pre>';

function get_data($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    $homepage = curl_exec($ch);
    curl_close($ch);
    return $homepage;
}
READ ALSO
шкала размеров на картинк

шкала размеров на картинк

[введите сюда описание ссылки][1]

168
Куда сохраняется значение введенное в input

Куда сохраняется значение введенное в input

Допустим я отправил форму из formphp на form

206
Скрипт отправки форм на E-mail вывод уведомлений под полями?

Скрипт отправки форм на E-mail вывод уведомлений под полями?

Нужен PHP и Ajax скрипт отправки форм на E-mail вывод уведомлений под полями? Каким путем можно их вывести под каждым полем? CSS менял, но оно выводил...

201