индексировать сайт и обойти verify страница

251
17 сентября 2017, 02:01

На сайте нужен verify 18+ но проблема такая google bot, yandex bot будут сканировать только этот страница (verify.php) как могу дать им доступ на сайт без verify чтобы боты с могли индексировать сайт

Answer 1

1) Правилами поисковиков это запрещено.

2) Полный список IP-адресов ботов держится в секрете. По IP их не вычислишь.

Никак.

Answer 2

Нашла ответ если кому-то понадобится

function isBot(&$botname = ''){
$bots = array(
'rambler','googlebot','aport','yahoo','msnbot','turtle','mail.ru','omsktele',
'yetibot','picsearch','sape.bot','sape_context','gigabot','snapbot','alexa.com',
'megadownload.net','askpeter.info','igde.ru','ask.com','qwartabot','yanga.co.uk',
'scoutjet','similarpages','oozbot','shrinktheweb.com','aboutusbot','followsite.com',
'dataparksearch','google-sitemaps','appEngine-google','feedfetcher-google',
'liveinternet.ru','xml-sitemaps.com','agama','metadatalabs.com','h1.hrn.ru',
'googlealert.com','seo-rus.com','yaDirectBot','yandeG','yandex',
'yandexSomething','Copyscape.com','AdsBot-Google','domaintools.com',
'Nigma.ru','bing.com','dotnetdotcom'
);
foreach($bots as $bot)
if(stripos($_SERVER['HTTP_USER_AGENT'], $bot) !== false){
  $botname = $bot;
  return true;
}
return false;
}

Использовать очень просто:

if( isBot($bname) ) echo 'На сайте сейчас '.$bname;
READ ALSO
Выводит результат одной строкой PHP query

Выводит результат одной строкой PHP query

Хочу вывести все содержимое ссылок по отдельности, а он соединяет и выводит одной большой строкой

174
Почему не работает регулярка на php?

Почему не работает регулярка на php?

Регулярка на php должна находить слово "культурист" либо в начале строки, либо в конце либо, если оно в середине окружено круглыми скобками...

248
yii2 передать параметры в get запрос activerecord

yii2 передать параметры в get запрос activerecord

Привет Нужно сделать выборку из БД по критериемт

280
Фильтрация yii2 выдает ошибку Call to a member function isAttributeRequired() on null

Фильтрация yii2 выдает ошибку Call to a member function isAttributeRequired() on null

Пытаюсь сделать фильтрацию на yii2Есть поле формы в ней 3 input(type="radio") , каждый инпут должен искать товары с ценой в данном диапазоне

547