Robot.txt

Robots.txt, bir web sitesinin nasıl taranacağına dair talimatlar içeren bir dosyadır. Robot dışlama protokolü olarak da bilinen bu standart, siteler tarafından botlara web sitelerinin hangi […]