Передача html из файла в node-crawler

325

31 мая 2017, 06:02

Прошу помощи в следующей ситуации. Парсер (на node-crawler https://github.com/bda-research/node-crawler) должен обрабатывать не только http, но и локальные файлы. Не получается загрузить html через переменную. То что работает ниже (html в качестве явной строки):

var Crawler = require("crawler"); 
var fs = require('fs');  
 
 
var c = new Crawler({ 
    maxConnections : 10, 
    // This will be called for each crawled page 
    callback : function (error, res, done) { 
        if(error){ 
            console.log(error); 
        }else{ 
            var $ = res.$; 
            // $ is Cheerio by default 
            //a lean implementation of core jQuery designed specifically for the server 
            
            console.log($("p").text()); 
        } 
        done(); 
    } 
}); 
 
 
c.queue([{ 
    html: '<p>Эта строка загружается и краулится</p>' 
}]);

А вот загрузка из файла в переменную не работает (предпоследняя строка - это не работает) -

var Crawler = require("crawler"); 
var fs = require('fs');  
 
 
var c = new Crawler({ 
    maxConnections : 10, 
    // This will be called for each crawled page 
    callback : function (error, res, done) { 
        if(error){ 
            console.log(error); 
        }else{ 
            var $ = res.$; 
            // $ is Cheerio by default 
            //a lean implementation of core jQuery designed specifically for the server 
         
            console.log($("p").text()); 
        } 
        done(); 
    } 
}); 
 
var htmlfromfile; 
 
 
fs.readFile('htmldata.txt', "utf8", function (err, data) { 
  if (err) throw err; 
  htmlfromfile = data; 
   
}); 
 
 
 
c.queue([{ 
    html: htmlfromfile 
}]);