Многопоточность в Selenium

226
17 декабря 2019, 18:10

Допустим есть 1000 урл. Хочу каждый урл загрузить в браузер, получить данные. Какой оптимальный метод организации многопоточного пула для Selenium?

Answer 1

селениум для такого не предназначен. Он предназначен для тестирования, а не граббинга/кравлинга.

Какой оптимальный метод организации многопоточного пула для Selenium?

но если хочется все сделать именно на селениуме, то ничто тебе не мешает создавать в отдельных потоках/тасках создание инстанса WebDriver и делать что тебе заблагоразсудится с ним в этом отдельном потоке.

Все будет работать в паралели, как ты и хочешь. Только жрать оперативку будет сильно.

READ ALSO
Как вытащить конкретный кусок из строки

Как вытащить конкретный кусок из строки

Есть строка с именем файла(например string filename= FI_FILE1_111_1111)Как мне вытащить его префикс до второго нижнего подчеркивания(FI_FILE1_)??

240
PHP вложенные try catch

PHP вложенные try catch

Как перехватить Exception в функции на уровне выше?

185
ООП php: как добавить middleware?

ООП php: как добавить middleware?

Всем привет! Есть интерфейс IHandler:

209
Почему Laravel меняет хеш пароля в бд?

Почему Laravel меняет хеш пароля в бд?

Перестает авторизировать пользователя спустя несколько дней после регистрацииВ БД все данные остаются

210