html сайтына арналған дұрыс Robots txt файлы іздеу жүйесі боттарына нені тексере алатынын айтып, әрекет макеттерін жасайды. Бұл файл жиі роботты алып тастау протоколы деп аталады. Веб-сайтты тексермес бұрын боттар іздейтін бірінші нәрсе - robots.txt. Ол белгілі бір қосалқы домендерді тексермеу үшін Сайт картасына нұсқауы немесе айтуы мүмкін. Іздеу жүйелері жиі табылған нәрсені іздеген кезде, robots.txt қажет емес. Бұл процесте файлдың дұрыс пішімделгені және пайдаланушы бетін пайдаланушының жеке деректерімен индекстемейтіні өте маңызды.
Роботты сканерлеу принципі
Іздеу жүйесі файлды кездестіргенде және тыйым салынған URL мекенжайын көргенде, ол оны тексермейді, бірақ оны индекстей алады. Себебі роботтарға мазмұнды көруге рұқсат етілмесе де, олар тыйым салынған URL мекенжайын көрсететін кері сілтемелерді есте сақтай алады. Сілтемеге кіруге тыйым салынғандықтан, URL мекенжайы іздеу жүйелерінде пайда болады, бірақ фрагментсіз. Егер акіріс маркетинг стратегиясы үшін bitrix (Bitrix) үшін дұрыс Robots txt файлы қажет, олар пайдаланушының сұрауы бойынша сканерлер арқылы сайтты тексеруді қамтамасыз етеді.
Екінші жағынан, файл дұрыс пішімделмеген болса, бұл сайттың іздеу нәтижелерінде көрсетілмеуі және табылмауы мүмкін. Іздеу жүйелері бұл файлды айналып өте алмайды. Бағдарламашы кез келген сайттың robots.txt файлын оның доменіне өтіп, оны robots.txt арқылы бақылай алады, мысалы, www.domain.com/robots.txt. Кез келген доменді енгізуге болатын Unamo SEO оңтайландыру бөлімі сияқты құралды пайдалану және қызмет файлдың бар екендігі туралы ақпаратты көрсетеді.
Сканерлеуге арналған шектеулер:
- Пайдаланушыда ескірген немесе құпия мазмұн бар.
- Сайттағы суреттер кескін іздеу нәтижелеріне қосылмайды.
- Сайт роботпен индекстелетін демонстрацияға әлі дайын емес.
Пайдаланушы іздеу жүйесінен алғысы келетін ақпарат URL мекенжайын енгізген кез келген адамға қолжетімді екенін есте сақтаңыз. Бұл мәтіндік файлды құпия деректерді жасыру үшін пайдаланбаңыз. Доменде 404 (табылмады) немесе 410 (өтті) қатесі болса, іздеу жүйесі robots.txt бар болғанына қарамастан сайтты тексереді, бұл жағдайда файл жоқ деп есептейді. 500 (Ішкі сервер қатесі), 403 (тыйым салынған), күту уақыты бітті немесе "қолжетімсіз" сияқты басқа қателер robots.txt нұсқауларына сәйкес келеді, бірақ айналып өту файл қолжетімді болғанша кейінге қалдырылуы мүмкін.
Іздеу файлын жасау
КөпWordPress сияқты CMS бағдарламаларында robots.txt файлы бар. Robots txt WordPress дұрыс конфигурацияламас бұрын, пайдаланушы оған қалай қол жеткізуге болатынын анықтау үшін оның мүмкіндіктерімен танысуы керек. Егер бағдарламашы файлды өзі жасаса, ол келесі шарттарға сай болуы керек:
- Кіші әріппен жазылуы керек.
- UTF-8 кодтауын пайдаланыңыз.
- Мәтіндік өңдегіште файл (.txt) ретінде сақтаңыз.
Пайдаланушы оны қайда орналастыру керектігін білмесе, доменнің түбіріне қалай кіруге болатынын білу үшін веб-сервер бағдарламалық құралының жеткізушісіне хабарласады немесе Google консоліне өтіп, оны жүктеп алады. Бұл функция арқылы Google боттың дұрыс жұмыс істеп тұрғанын және файл арқылы бұғатталған сайттар тізімін де тексере алады.
Битрикс (Bitrix) үшін дұрыс Robots txt файлының негізгі пішімі:
- Legend robots.txt.
- , тек ескертпе ретінде пайдаланылатын пікірлерді қосады.
- Бұл пікірлерді сканерлер және кез келген пайдаланушы қателерімен елемейді.
- User-агент - файлға арналған нұсқаулар қай іздеу жүйесінде көрсетілгенін көрсетеді.
- Жұлдызшаны () қосу сканерлерге нұсқаулардың барлығына арналғанын білдіреді.
Нақты ботты көрсету, мысалы, Googlebot, Baiduspider, Applebot. Рұқсат етпеу тексерушілерге веб-сайттың қай бөліктерін тексермеу керектігін айтады. Бұл келесідей көрінеді: Пайдаланушы-агент:. Жұлдызша «барлық боттар» дегенді білдіреді. Дегенмен, арнайы беттерді көрсетуге боладыботтар. Ол үшін ұсыныстар орнатылған боттың атын білуіңіз керек.
Яндекс үшін дұрыс роботтар мәтіні келесідей болуы мүмкін:
Егер бот сайтты тексермейтін болса, оны көрсетуге болады және пайдаланушы агенттерінің атын табу үшін useragentstring.com сайтының онлайн мүмкіндіктерімен танысу ұсынылады.
Бетті оңтайландыру
Келесі екі жол толық robots.txt файлы болып саналады және бір роботтар файлында тексеріп шығуды өшіретін немесе қосатын пайдаланушы агенттері мен директиваларының бірнеше жолы болуы мүмкін. Дұрыс Robots txt негізгі пішімі:
- Пайдаланушы агенті: [агент пайдаланушы аты].
- Рұқсат етпеу: [тексерілмеген URL жолы].
Файлда директивалардың әрбір блогы сызықпен бөлінген дискретті түрде көрсетіледі. Агент пайдаланушы каталогының жанындағы файлда әрбір ереже бөліммен бөлінген жолдардың белгілі бір жинағына қолданылады. Егер файлда мульти-агент ережесі болса, робот нұсқаулардың ең нақты тобын ғана қарастырады.
Техникалық синтаксис
Оны robots.txt файлдарының "тілі" ретінде қарастыруға болады. Бұл пішімде бес термин болуы мүмкін, олардың негізгілері мыналарды қамтиды:
- Пайдаланушы-агент - Тексеру нұсқаулары бар веб-шолғыш, әдетте іздеу жүйесі.
- Қолданбау – пайдаланушы агентіне айналып өтуді айту үшін қолданылатын пәрменарнайы URL мекенжайының (өткізу). Әрқайсысы үшін бір ғана тыйым салынған шарт бар.
- Рұқсат ету. Кіру рұқсаты бар Googlebot үшін тіпті пайдаланушы бетінен бас тартылды.
- Тексеріп шығудың кешігуі - тексеріп шығуға дейін тексеріп шығушыға қанша секунд қажет болатынын көрсетеді. Бот оны растамағанда, жылдамдық Google консолінде орнатылады.
- Сайт картасы - URL мекенжайымен байланысты кез келген XML карталарын табу үшін пайдаланылады.
Үлгі сәйкестіктері
URL мекенжайларын іс жүзінде бұғаттауға немесе жарамды Robots txt файлына рұқсат беруге келгенде, әрекеттер өте қиын болуы мүмкін, себебі олар бірнеше ықтимал URL параметрлерін қамту үшін үлгі сәйкестігін пайдалануға мүмкіндік береді. Google және Bing екеуі де SEO алып тастағысы келетін беттерді немесе ішкі қалталарды анықтайтын екі таңбаны пайдаланады. Екі таңба жұлдызша () және доллар белгісі ($), мұндағы:кез келген таңбалар тізбегін көрсететін қойылмалы таңба. $ - URL мекенжайының соңына сәйкес келеді.
Google пайдаланушыға Robots txt файлын дұрыс орнату жолын түсіндіретін ықтимал үлгі синтаксистерінің үлкен тізімін ұсынады. Кейбір жалпы пайдалану жағдайлары мыналарды қамтиды:
- Іздеу нәтижелерінде қайталанатын мазмұнның пайда болуына жол бермеңіз.
- Веб-сайттың барлық бөлімдерін жеке сақтаңыз.
- Ашық мәлімдеме негізінде іздеу нәтижелерінің ішкі беттерін сақтаңыз.
- Орынды көрсетіңіз.
- Іздеу жүйелерінің белгілі бір индекстеуіне жол бермеуфайлдар.
- Бір уақытта бірнеше мазмұн аймағын сканерлеген кезде қайта жүктеуді тоқтату үшін тексеру кідірісін көрсету.
Робот файлының бар-жоғын тексеру
Егер сайтта тексеріп шығуды қажет ететін аумақтар болмаса, robots.txt мүлдем қажет емес. Егер пайдаланушы бұл файлдың бар екеніне сенімді болмаса, ол түбірлік доменді енгізіп, оны URL мекенжайының соңына теруі керек, мысалы: moz.com/robots.txt. Кейбір іздеу боттары бұл файлдарды елемейді. Дегенмен, әдетте, бұл сканерлер беделді іздеу жүйелеріне жатпайды. Олар Интернетте көп кездесетін спам жіберушілер, пошта агрегаторлары және автоматтандырылған боттардың басқа түрлері.
Роботтан шығару стандартын пайдалану тиімді қауіпсіздік шарасы емес екенін есте сақтау өте маңызды. Шын мәнінде, кейбір боттар пайдаланушы оларды сканерлеу режиміне орнатқан беттерден басталуы мүмкін. Стандартты ерекшелік файлына кіретін бірнеше бөліктер бар. Роботқа оның қай беттерде жұмыс істемеуі керектігін айтпас бұрын, қай роботпен сөйлесетінін көрсету керек. Көп жағдайда пайдаланушы "барлық боттар" дегенді білдіретін қарапайым мәлімдемені пайдаланады.
SEO оңтайландыру
Оңтайландырудан бұрын пайдаланушы айналып өтуді қажет ететін сайттың ешбір мазмұнын немесе бөлімдерін блоктамайтынына көз жеткізуі керек. Дұрыс Robots txt арқылы блокталған беттерге сілтемелер сақталмайды. Бұл мынаны білдіреді:
- Егер олар іздеу жүйелеріне қолжетімді басқа беттермен байланыстырылмаса, яғни. беттер,robots.txt немесе мета робот бұғаттамаған және қатысты ресурстар тексерілмейді, сондықтан индекстелмейді.
- Сілтемені бұғатталған беттен тағайындалған сілтемеге жіберу мүмкін емес. Егер мұндай бет болса, robots.txt-ге қарағанда басқа блоктау механизмін қолданған дұрыс.
Басқа беттер жеке ақпаратты қамтитын бетке тікелей сілтеме жасай алатындықтан және сіз бұл бетті іздеу нәтижелерінен блоктағыңыз келетіндіктен, құпия сөзді қорғау немесе noindex метадеректері сияқты басқа әдісті пайдаланыңыз. Кейбір іздеу жүйелерінде бірнеше пайдаланушы агенттері бар. Мысалы, Google органикалық іздеулер үшін Googlebot-ті, ал суреттерді іздеу үшін Googlebot-Image пайдаланады.
Бір іздеу жүйесіндегі пайдаланушы агенттерінің көпшілігі бірдей ережелерді ұстанады, сондықтан бірнеше тексеріп шығушылардың әрқайсысы үшін директиваларды көрсетудің қажеті жоқ, бірақ мұны істеу сайт мазмұнын тексеріп шығуды дәл баптай алады. Іздеу жүйесі файлдың мазмұнын кэштейді және әдетте кэштелген мазмұнды күніне кемінде бір рет жаңартады. Пайдаланушы файлды өзгертіп, оны әдеттегіден жылдамырақ жаңартқысы келсе, олар robots.txt URL мекенжайын Google-ға жібере алады.
Іздеу жүйелері
Robots txt қалай дұрыс жұмыс істейтінін түсіну үшін іздеу жүйелерінің мүмкіндіктері туралы білуіңіз керек. Бір сөзбен айтқанда, олардың қабілеті «сканерлерді» жіберетіндігінде, олар бағдарламалар болып табыладыақпарат алу үшін интернетті шолу. Содан кейін олар бұл ақпараттың кейбірін кейінірек пайдаланушыға беру үшін сақтайды.
Көптеген адамдар үшін Google қазірдің өзінде Интернет болып табылады. Шындығында, олар дұрыс, өйткені бұл оның ең маңызды өнертабысы болуы мүмкін. Іздеу жүйелері пайда болғаннан бері көп өзгергенімен, негізгі принциптері әлі де бірдей. «боттар» немесе «өрмекшілер» деп те аталатын сканерлер миллиардтаған веб-сайттардың беттерін табады. Іздеу жүйелері оларға қайда бару керектігін көрсетеді, ал жеке сайттар боттармен байланысып, қай беттерді қарау керектігін айта алады.
Жалпы, сайт иелері іздеу жүйелерінде көрсетілгісі келмейді: әкімші беттері, серверлік порталдар, санаттар мен тегтер және басқа ақпарат беттері. robots.txt файлын іздеу жүйелерінің беттерді тексеруіне жол бермеу үшін де пайдалануға болады. Қысқасы, robots.txt веб-тексерушілерге не істеу керектігін айтады.
Беттерге тыйым салу
Бұл роботты алып тастау файлының негізгі бөлігі. Қарапайым мәлімдеме арқылы пайдаланушы ботқа немесе боттар тобына белгілі бір беттерді тексермеу керектігін айтады. Синтаксис қарапайым, мысалы, сайттың «admin» каталогындағы барлық нәрсеге қол жеткізуге тыйым салу үшін мынаны жазыңыз: рұқсат бермеу: /admin. Бұл жол боттардың yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html және әкімші каталогының астындағы кез келген басқа нәрселерді тексеріп шығуына жол бермейді.
Бір бетке рұқсат бермеу үшін оны рұқсат бермеу жолында көрсетіңіз: Рұқсат етпеу: /public/exception.html. Енді «ерекшелік» бетітасымалданбайды, бірақ "жалпыға ортақ" қалтадағы барлық нәрсе тасымалданады.
Бірнеше беттерді қосу үшін жай тізімге енгізіңіз:
Симфонияға арналған дұрыс Robots txt мәтінінің осы төрт жолы https://www.symphonyspace.org/ үшінrobots.txt бөлімінің жоғарғы жағында тізімделген кез келген пайдаланушы агентіне қолданылады.
Сайт картасы:
Басқа пәрмендер:live - веб-тексерушілерге cpresources/ немесе провайдерді/ индекстеуіне рұқсат бермеңіз.
Пайдаланушы агенті:Рұқсат етпеу: /cpresources/.
Бас тарту: / жеткізуші / Рұқсат етпеу: /.env.
Стандарттар орнату
Пайдаланушы алдыңғы екі элементті біріктіру арқылы әртүрлі боттарға арналған арнайы беттерді көрсете алады, ол осылай көрінеді. Төменде барлық іздеу жүйелері үшін дұрыс Robots txt үлгісі берілген.
"Әкімші" және "жеке" бөлімдер Google және Bing үшін көрінбейтін болады, бірақ Google әлі де "құпия" каталогты көреді, ал Bing көрмейді. Жұлдызша пайдаланушы агентін пайдаланып барлық боттарға арналған жалпы ережелерді көрсетуге болады, содан кейін келесі бөлімдерде боттарға арнайы нұсқаулар беруге болады. Жоғарыдағы біліммен пайдаланушы барлық іздеу жүйелері үшін дұрыс Robots txt мысалын жаза алады. Таңдаулы мәтіндік редакторды іске қосып, боттарға сайттың белгілі бір бөліктерінде оларды қабылдамайтынын айтыңыз.
Сервер жұмысын жақсарту бойынша кеңестер
SublimeText – бұләмбебап мәтіндік редактор және көптеген бағдарламашылар үшін алтын стандарт. Оның бағдарламалау бойынша кеңестері тиімді кодтауға негізделген. пайдаланушылар бағдарламада төте жолдардың болуын бағалайды. Егер пайдаланушы robots.txt файлының мысалын көргісі келсе, кез келген сайтқа өтіп, соңына "/robots.txt" қосу керек. Міне GiantBicycles robots.txt файлының бөлігі.
Бағдарлама пайдаланушылар іздеу жүйелерінде көрсеткісі келмейтін беттерді жасауды қамтамасыз етеді. Сондай-ақ аз адамдар білетін бірнеше эксклюзивті нәрселер бар. Мысалы, robots.txt файлы боттарға қайда бармау керектігін айтқанымен, сайт картасы файлы керісінше жасайды және оларға іздеген нәрсені табуға көмектеседі, ал іздеу жүйелері сайт картасының қай жерде орналасқанын бұрыннан білетін болуы мүмкін, бірақ ол алынбайды. жолда.
Файлдың екі түрі бар: HTML беті немесе XML файлы. HTML беті - бұл келушілерге веб-сайттағы барлық қол жетімді беттерді көрсететін бет. Өзінің robots.txt файлында ол келесідей көрінеді: Sitemap://www.makeuseof.com/sitemap_index.xml. Веб-роботтар бірнеше рет тексеріп шыққанына қарамастан, сайт іздеу жүйелерімен индекстелмеген болса, файлдың бар екеніне және оның рұқсаттары дұрыс орнатылғанына көз жеткізуіңіз керек.
Әдепкі бойынша бұл барлық SeoToaster орнатуларында болады, бірақ қажет болса, оны келесідей қалпына келтіруге болады: robots.txt файлы - 644. PHP серверіне байланысты, егер бұл пайдаланушы үшін жұмыс істемесе, ол мынаны қолданып көру ұсынылады: robots.txt файлы - 666.
Сканерлеу кідірісін орнату
Айналма кешіктіру директивасы белгілі бір ақпарат бередііздеу жүйелері сайттағы бетті қаншалықты жиі индекстейтінін көрсетеді. Ол секундтармен өлшенеді, дегенмен кейбір іздеу жүйелері оны басқаша түсіндіреді. Кейбір адамдар келесі сканерлеуді бастау үшін әрбір сканерлеуден кейін бес секунд күту керектігі айтылғанда, тексеріп шығудың 5 кідірісін көреді.
Басқалар мұны бес секунд сайын бір бетті сканерлеу нұсқауы ретінде түсіндіреді. Сервер өткізу қабілеттілігін сақтау үшін робот жылдамырақ сканерлей алмайды. Сервер трафикке сәйкес келуі керек болса, ол айналып өту кідірісін орната алады. Жалпы, көп жағдайда пайдаланушылар бұл туралы алаңдамауы керек. Тексеріп шығудың сегіз секундтық кешігуі осылай орнатылады - Тексеру кешігуі: 8.
Бірақ барлық іздеу жүйелері бұл директиваға бағынбайды, сондықтан беттерге рұқсат бермеген кезде белгілі бір іздеу жүйелері үшін әртүрлі тексеріп шығу кідірістерін орнатуға болады. Файлдағы барлық нұсқаулар орнатылғаннан кейін оны сайтқа жүктеп салуға болады, алдымен оның қарапайым мәтіндік файл екеніне және robots.txt атауы бар екеніне және оны yoursite.com/robots.txt сайтынан табуға болатынына көз жеткізіңіз.
Үздік WordPress боты
WordPress сайтында әр уақытта құлыптауды қажет ететін кейбір файлдар мен каталогтар бар. Пайдаланушылар рұқсат бермеуі керек каталогтар - cgi-bin каталогы және стандартты WP каталогтары. Кейбір серверлер cgi-bin каталогына кіруге рұқсат бермейді, бірақ пайдаланушылар Robots txt WordPress файлын дұрыс конфигурацияламас бұрын оны рұқсат бермеу директивасына қосуы керек
Стандартты WordPress каталогтары,бұғаттауы керек wp-admin, wp-content, wp-кіреді. Бұл каталогтарда бастапқыда іздеу жүйелеріне пайдалы деректер жоқ, бірақ ерекше жағдай бар, яғни wp-content каталогында жүктеп салулар деп аталатын ішкі каталог бар. Бұл ішкі каталогқа robot.txt файлында рұқсат етілуі керек, себебі ол WP медиа жүктеп салу мүмкіндігі арқылы жүктелетін барлық нәрсені қамтиды. WordPress мазмұнды құрылымдау үшін тегтерді немесе санаттарды пайдаланады.
Егер санаттар пайдаланылса, бағдарлама өндірушісі көрсеткендей Wordpress үшін дұрыс Robots txt файлын жасау үшін іздеуден тегтер мұрағаттарын блоктау қажет. Алдымен олар "Әкімшілік" панеліне> "Параметрлер"> "Тұрақты сілтеме" бөліміне өту арқылы дерекқорды тексереді.
Әдепкі бойынша, өріс бос болса, негіз тег болып табылады: Рұқсат етпеу: / тег /. Егер санат пайдаланылса, онда санатты robot.txt файлында өшіру керек: Рұқсат етпеу: /санат/. Әдепкі бойынша, өріс бос болса, негіз тег болып табылады: Рұқсат етпеу: / тег /. Егер санат пайдаланылса, robot.txt файлындағы санатты өшіру керек: Рұқсат етпеу: / категория /.
Негізінен мазмұнды көрсету үшін пайдаланылатын файлдар, олар Wordpress үшін дұрыс Robots txt файлымен блокталады:
Joomla негізгі орнату
Пайдаланушы Joomla бағдарламасын орнатқаннан кейін басқару тақтасында орналасқан жаһандық конфигурацияда дұрыс Joomla Robots txt параметрін көру керек. Мұнда кейбір параметрлер SEO үшін өте маңызды. Алдымен сайттың атын тауып, соған көз жеткізіңізсайттың қысқаша атауы пайдаланылады. Содан кейін олар сол экранның оң жағында SEO параметрлері деп аталатын параметрлер тобын табады. Міндетті түрде өзгертуге тура келетіні екіншісі: қайта жазу URL мекенжайын пайдаланыңыз.
Бұл күрделі естіледі, бірақ ол негізінен Joomla-ға таза URL мекенжайларын жасауға көмектеседі. URL мекенжайларынан index.php жолын алып тастасаңыз, ең байқалады. Оны кейінірек өзгертсеңіз, URL мекенжайлары өзгереді және бұл Google-ға ұнамайды. Дегенмен, бұл параметрді өзгерткен кезде, Joomla үшін дұрыс роботтар мәтінін жасау үшін бір уақытта бірнеше қадамдарды орындау қажет:
- Htaccess.txt файлын Joomla түбірлік қалтасынан табыңыз.
- Оны.htaccess (кеңейтімсіз) ретінде белгілеңіз.
- Бет атауларына сайт атауын қосыңыз.
- Жаһандық конфигурация экранының төменгі жағындағы метадеректер параметрлерін табыңыз.
MODX бұлтындағы робот
Бұған дейін MODX Cloud пайдаланушыларға бақылау тақтасындағы ауыстырып-қосқыш негізінде robots.txt файлына қызмет көрсетуге рұқсат беру әрекетін басқару мүмкіндігін берді. Бұл пайдалы болғанымен, бақылау тақтасындағы опцияны ауыстырып қосу арқылы кезеңдік/әзірлеу сайттарында индекстеуге кездейсоқ рұқсат беруге болады. Сол сияқты өндіріс сайтында индекстеуді өшіру оңай болды.
Бүгін қызмет файлдық жүйеде robots.txt файлдарының болуын болжайды: modxcloud.com деп аяқталатын кез келген домен рұқсат бермеу ретінде қызмет етеді: бар-жоғына қарамастан /директива барлық пайдаланушы агенттері үшін немесе файлдың болмауы. Нағыз келушілер трафигін алатын өндіріс сайттары, егер пайдаланушы өз сайтын индекстегісі келсе, өз доменін пайдалануы керек.
Кейбір ұйымдар Мәтінмәндерді пайдаланып бір орнатудан бірнеше веб-сайттарды іске қосу үшін modx үшін дұрыс Robots txt файлын пайдаланады. Мұны қолдануға болатын жағдай бастапқы бет микро сайттарымен біріктірілген жалпыға қолжетімді маркетинг сайты және мүмкін жалпыға қолжетімді емес интранет болуы мүмкін.
Дәстүрлі түрде бұл көп пайдаланушы орнатулары үшін қиын болды, өйткені олар бір желі түбірін ортақ пайдаланады. MODX Cloud көмегімен бұл оңай. Келесі мазмұны бар robots-intranet.example.com.txt деп аталатын веб-сайтқа қосымша файлды жүктеп салсаңыз болды, ол жақсы жұмыс істейтін роботтармен индекстеуді блоктайды және басқа арнайы атау түйіндері болмаса, барлық басқа хост атаулары стандартты файлдарға қайта оралады.
Robots.txt - пайдаланушыға Google, негізгі іздеу жүйелері және басқа веб-сайттардағы сайтқа сілтеме жасауға көмектесетін маңызды файл. Веб-сервердің түбірінде орналасқан файл веб-роботтарға сайтты тексеріп шығуға нұсқау береді, ол қай қалталарды индекстеу керек немесе болмау керек, Bot Exclusion Protocol деп аталатын нұсқаулар жинағын пайдаланады. Барлық іздеу жүйелері үшін дұрыс Robots txt мысалын obots.txt SeoToaster көмегімен жасау өте оңай. Басқару тақтасында ол үшін арнайы мәзір жасалды, сондықтан ботқа кіру үшін ешқашан артық жұмыс жасамайды.
