Поместить значения парсинга в mongodb

198
09 апреля 2018, 00:44

При помещении информации, которую извлекаю с сайтов столкнулся с проблемой

 MongoError: server instance pool was destroyed

Предполагаю, что это из-за асинхронности, потому попытался справиться с этой проблемой async/await, но что-то не понимаю/делаю неправильно

if (flag < gate){
let q = async.queue(function (url) {
    request(url, function (error, response, html) {
    if (!error && response.statusCode === 200) {
       let $ = cheerio.load(html);
       $(' div.entry_content.entry_content--short > div > h2 > span').each(async function () {
           let a = $(this);
           let title = a.text();
           let url = a.parent().parent().parent().children(".entry_content__link").attr('href');
           let id = flag;
           let metadata = {
               title: title,
               url: url,
               flag: id
            };
            console.log(flag);
            console.log(metadata);
            let dbo = db.db("nameSites");                            
            dbo.collection("freshMeat").insertOne(metadata, async function (err) { //Здесь начинаю помещать
              if (err) {
                 return console.log(err);
              }
              await db.close();
              });
              await flag++;
           });
        }
     });
     }, 10);
      let j = 0;
      while (arrSites.length > j) {
        console.log(arrSites[j]);
        q.push(arrSites[j]);
        j++;
   }
}

В итоге изначально все извлекается и добавляется хорошо, но спустя н-ое кол-во записей возникают постоянные ошибки. Mongo v 3.X

READ ALSO
RMI. Ошибка при запуске сервера

RMI. Ошибка при запуске сервера

При запуске сервера через пакетный файл, в открывшейся консоли выскакивает вот такая ошибка, может быть кто нибудь знает как это пофиксить?...

218
Ошибка No description и No repository field

Ошибка No description и No repository field

После установки чего либо npm install вылазит этоКак исправить?

162
Воспроизведение аудио в Electron приложении

Воспроизведение аудио в Electron приложении

У меня есть приложение созданное с помощью Electron , т е одна html страница где js воспроизводит аудиоВопрос : возможно как то перехватить поток...

147
Как сделать чтобы при выделенной ссылке отображался конкретный слайдер

Как сделать чтобы при выделенной ссылке отображался конкретный слайдер

Как сделать , что-то в таком духе , может есть какие решение готовые?

241