работают поисковые

У меня есть идея написать небольшой поисковик под свои задачи, сделал ряд парсеров для анализа нужных мне сайтов, но их очень быстро банятВозник вопрос: как работает поисковой бот (к примеру Яндекса)? Ведь насколько я понимаю поисковой бот это тот же самый парсер, и ему нужно обойти сайт, но при этом сайты его не блокируют