проверку наличия

Привет!Я начал изучать то как работают поисковые роботы яндекса и мне по заданию нужно сделать проверку на наличие директивы Host в файле robotstxt