SEO оптимизаторының жұмысы өте ауқымды. Жаңадан бастаушыларға кез келген қадамды жіберіп алмау үшін оңтайландыру алгоритмін жазу ұсынылады. Әйтпесе, жарнама сәтті деуге болмайды, өйткені сайтта ұзақ уақыт бойы түзетілуі қажет сәтсіздіктер мен қателер болады.
Оңтайландыру қадамдарының бірі robots.txt файлымен жұмыс істейді. Әрбір ресурста бұл құжат болуы керек, өйткені онсыз оңтайландыруды жеңу қиынырақ болады. Ол сізге түсінуге болатын көптеген функцияларды орындайды.
Робот көмекшісі
Robots.txt файлы жүйенің стандартты блокнот бағдарламасында көруге болатын қарапайым мәтіндік құжат болып табылады. Оны жасау кезінде кодтауды дұрыс оқу үшін UTF-8 мәніне орнату керек. Файл http, https және FTP протоколдарымен жұмыс істейді.
Бұл құжат роботтарды іздеуге арналған көмекші болып табылады. Егер сіз білмесеңіз, әрбір жүйе сұраулар үшін сәйкес сайттарды қайтару үшін Дүниежүзілік Интернетті жылдам тексеретін «өрмекшілерді» пайдаланады.пайдаланушылар. Бұл роботтардың ресурс деректеріне рұқсаты болуы керек, бұл үшін robots.txt жұмыс істейді.
Өрмекшілер өз жолын табуы үшін robots.txt құжатын түбірлік каталогқа жіберу керек. Сайтта осы файлдың бар-жоғын тексеру үшін шолғыштың мекенжай жолына “https://site.com.ua/robots.txt” енгізіңіз. "site.com.ua" орнына қажетті ресурсты енгізу керек.
Құжат функциялары
Robots.txt файлы тексеріп шығушыларға ақпараттың бірнеше түрін береді. Ол «өрмекші» ресурстың белгілі бір элементтерін сканерлеуі үшін ішінара рұқсат бере алады. Толық қол жетімділік барлық қол жетімді беттерді тексеруге мүмкіндік береді. Толық тыйым роботтардың тіпті тексере бастауына да жол бермейді және олар сайттан шығып кетеді.
Ресурсқа кіргеннен кейін «өрмекшілер» сұрауға тиісті жауап алады. Олардың бірнешеуі болуы мүмкін, барлығы robots.txt ішіндегі ақпаратқа байланысты. Мысалы, сканерлеу сәтті болса, робот 2xx кодын алады.
Сайт бір беттен екіншісіне қайта бағытталған болуы мүмкін. Бұл жағдайда робот 3xx кодын алады. Егер бұл код бірнеше рет қайталанса, өрмекші басқа жауап алғанша оның соңынан ереді. Әдетте, ол тек 5 әрекетті қолданады. Әйтпесе, танымал 404 қатесі пайда болады.
Егер жауап 4xx болса, роботқа сайттың бүкіл мазмұнын қарап шығуға рұқсат етіледі. Бірақ 5xx коды жағдайында тексеру толығымен тоқтатылуы мүмкін, себебі бұл көбінесе уақытша сервер қателерін көрсетеді.
Не үшінrobots.txt керек пе?
Сіз болжағандай, бұл файл роботтардың сайттың түбірлеріне арналған нұсқаулығы болып табылады. Енді ол орынсыз мазмұнға кіруді ішінара шектеу үшін пайдаланылады:
- пайдаланушылардың жеке ақпараты бар беттер;
- айна сайттар;
- іздеу нәтижелері;
- деректерді жіберу пішіндері, т.б.
Егер сайт түбірінде robots.txt файлы болмаса, робот барлық мазмұнды тексеріп шығады. Тиісінше, іздеу нәтижелерінде қажетсіз деректер пайда болуы мүмкін, яғни сіз де, сайт те зардап шегеді. Егер robots.txt құжатында арнайы нұсқаулар болса, "өрмекші" олардың соңынан еріп, ресурс иесі қалаған ақпаратты береді.
Файлмен жұмыс
Сайтты индекстеуді бұғаттау үшін robots.txt пайдалану үшін осы файлды қалай жасау керектігін анықтау керек. Ол үшін нұсқауларды орындаңыз:
- Блокнот немесе Блокнот++ бағдарламасында құжат жасаңыз.
- Файл кеңейтімін ".txt" орнатыңыз.
- Қажетті деректер мен пәрмендерді енгізіңіз.
- Құжатты сақтаңыз және оны сайт түбіріне жүктеңіз.
Көріп отырғаныңыздай, кезеңдердің бірінде роботтар үшін пәрмендерді орнату қажет. Олардың екі түрі бар: рұқсат ету (Рұқсат ету) және тыйым салу (Рұқсат ету). Сондай-ақ, кейбір оңтайландырушылар тексеріп шығу жылдамдығын, хостты және ресурстың бет картасына сілтемені көрсете алады.
Robots.txt файлымен жұмыс істеуді бастау және сайтты индекстеуді толығымен блоктау үшін сіз сондай-ақ пайдаланылатын таңбаларды түсінуіңіз керек. Мысалы, құжаттабүкіл сайт таңдалғанын көрсететін «/» пайдаланыңыз. Егер «» қолданылса, таңбалар тізбегі қажет. Осылайша сканерлеуге болатын немесе сканерленбейтін белгілі бір қалтаны көрсетуге болады.
Боттардың мүмкіндігі
Іздеу жүйелеріне арналған «өрмекшілер» әртүрлі, сондықтан сіз бірден бірнеше іздеу жүйесінде жұмыс істесеңіз, осы сәтті ескеруіңіз керек. Олардың атаулары әртүрлі, яғни белгілі бір роботпен байланысу үшін оның атын көрсету керек болады: «Пайдаланушы агенті: Яндекс» (тырнақшасыз).
Егер сіз барлық іздеу жүйелері үшін директиваларды орнатқыңыз келсе, онда «Пайдаланушы агенті: » (тырнақшасыз) пәрменін пайдалану керек. Robots.txt арқылы сайтты индекстеуді дұрыс бұғаттау үшін танымал іздеу жүйелерінің ерекшеліктерін білуіңіз керек.
Ең танымал іздеу жүйелерінде Яндекс пен Google-де бірнеше боттар бар. Олардың әрқайсысының өз міндеттері бар. Мысалы, Yandex Bot және Googlebot сайтты тексеретін негізгі «өрмекшілер» болып табылады. Барлық боттарды біле отырып, ресурсыңызды индекстеуді дәл баптау оңайырақ болады.
Мысалдар
Сонымен, robots.txt көмегімен сайтты қарапайым пәрмендер арқылы индекстеуден жабуға болады, бастысы - сізге нақты не қажет екенін түсіну. Мысалы, Googlebot ресурсыңызға жақындамауын қаласаңыз, оған сәйкес пәрменді беруіңіз керек. Ол келесідей болады: "Пайдаланушы-агент: Googlebot рұқсат бермеу: /" (тырнақшасыз).
Енді біз бұл пәрменде не бар екенін және оның қалай жұмыс істейтінін түсінуіміз керек. Сонымен «Пайдаланушы-агент»боттардың біріне тікелей қоңырауды пайдалану үшін пайдаланылады. Әрі қарай, қайсысын көрсетеміз, біздің жағдайда бұл Google. «Рұқсат бермеу» пәрмені жаңа жолдан басталып, роботтың сайтқа кіруіне тыйым салуы керек. Бұл жағдайда қиғаш сызық таңбасы пәрменді орындау үшін ресурстың барлық беттері таңдалғанын көрсетеді.
Robots.txt файлында қарапайым пәрмен арқылы барлық іздеу жүйелері үшін индекстеуді өшіруге болады: «Пайдаланушы-агент:Рұқсат етпеу: /» (тырнақшасыз). Бұл жағдайда жұлдызша таңбасы барлық іздеу роботтарын білдіреді. Әдетте, мұндай пәрмен сайтты индекстеуді кідірту және ондағы түбегейлі жұмысты бастау үшін қажет, әйтпесе оңтайландыруға әсер етуі мүмкін.
Егер ресурс үлкен болса және беттері көп болса, онда көбінесе ашылуы қажет емес немесе жарнамаға теріс әсер етуі мүмкін меншікті ақпарат бар. Бұл жағдайда сіз robots.txt файлында индекстеуден бетті қалай жабу керектігін түсінуіңіз керек.
Қалтаны немесе файлды жасыруға болады. Бірінші жағдайда белгілі бір ботқа немесе барлығына хабарласу арқылы қайта бастау керек, сондықтан біз «Пайдаланушы-агент» пәрменін қолданамыз, ал төменде белгілі бір қалта үшін «Рұқсат етпеу» пәрменін көрсетеміз. Ол келесідей болады: «Рұқсат етпеу: / қалта /» (тырнақшасыз). Осылайша сіз бүкіл қалтаны жасырасыз. Онда көрсеткіңіз келетін маңызды файл болса, төмендегі пәрменді жазуыңыз керек: «Рұқсат етіңіз: /folder/file.php» (тырнақшасыз).
Файлды тексеру
Егер сайтты жабу үшін robots.txt файлын пайдалансаңызСіз индекстеуде сәтті болдыңыз, бірақ барлық директиваларыңыздың дұрыс жұмыс істегенін білмейсіз, жұмыстың дұрыстығын тексеруге болады.
Алдымен құжаттың орналасуын қайта тексеру керек. Ол тек түбірлік қалтада болуы керек екенін есте сақтаңыз. Түбірлік қалтада болса, ол жұмыс істемейді. Содан кейін шолғышты ашыңыз және сол жерге келесі мекенжайды енгізіңіз: «https://yoursite. com/robots.txt» (тырнақшасыз). Веб-шолғышта қате алсаңыз, файл болуы керек жерде емес.
Директиваларды барлық дерлік веб-шеберлер қолданатын арнайы құралдарда тексеруге болады. Біз Google және Yandex өнімдері туралы айтып отырмыз. Мысалы, Google Search Console жүйесінде құралдар тақтасы бар, онда «Сканерлеуді» ашу керек, содан кейін «Robots.txt файлды тексеру құралын» іске қосыңыз. Құжаттағы барлық деректерді терезеге көшіріп, сканерлеуді бастау керек. Дәл осындай тексеруді Yandex. Webmaster қолданбасында жасауға болады.
