Robots.txt: какво е, как работи и как да го настроите правилно

Robots.txt е малък текстов файл в основата на Вашия сайт, който казва на Google и останалите ботове кои страници могат да обхождат и кои – не. Един ред в него може да спести бюджета за обхождане на голям онлайн магазин. Един грешен ред може да извади целия сайт от Google за една нощ. Затова е добре да знаете какво пише в него, дори ако никога не сте го отваряли.

В това ръководство ще разберете какво е robots.txt, как го чете Google, кои директиви работят и кои са мит, как изглежда правилният файл за WordPress и WooCommerce и как да спрете (или пуснете) AI ботове като GPTBot и ClaudeBot. Всичко е на български, с готови примери, които можете да копирате.

Какво е robots.txt?

Robots.txt е обикновен текстов файл, който се намира на адрес https://вашдомейн.bg/robots.txt и следва стандарта Robots Exclusion Protocol. Стандартът съществува от 1994 г. (историята му е описана на robotstxt.org), а през 2022 г. Google го официализира като интернет стандарт RFC 9309. Когато бот на търсачка посети сайта Ви, първото нещо, което прави, е да прочете този файл. В него намира правила от типа „този бот може да влиза тук, но не и там“.

Накратко: robots.txt управлява обхождането (crawling), а не индексирането. Той казва „не влизай“, а не „не показвай в Google“. Тази разлика е причината за повечето грешки.

Можете да видите този файл на всеки сайт, като добавите /robots.txt след домейна. Опитайте с Вашия сайт още сега – ще отнеме пет секунди и ще видите дали изобщо го имате.

Защо robots.txt е важен за SEO?

Ако сте в началото и искате първо да разберете общата картина, започнете с какво е SEO. За малък сайт с 20 страници файлът рядко прави голяма разлика. За онлайн магазин с филтри, сортиране и хиляди комбинации от URL адреси обаче той е основен инструмент. Ето за какво се използва:

• Пести бюджета за обхождане. Google отделя ограничено време на всеки сайт. Ако ботът губи това време във филтри като ?color=red&size=m&sort=price, важните продуктови страници се обхождат по-рядко.
• Пази сървъра. Агресивни ботове могат да натоварят хостинга. Файлът може да ги спре – поне тези, които спазват правилата.
• Посочва картата на сайта. С директивата Sitemap казвате на всички търсачки къде е sitemap.xml.
• Управлява AI ботовете. От 2023 г. насам това е основният начин да решите дали ChatGPT, Claude и Gemini да използват съдържанието Ви.

Как Google чете robots.txt файла

Повечето статии спират до „добавете Disallow“. Ето как реално работи файлът според официалната документация на Google – детайлите, които решават дали правилата Ви изобщо се прилагат:

Правило	Какво означава на практика
Местоположение	Файлът трябва да е в основната директория. Копие в подпапка се игнорира.
Обхват	Важи само за точния протокол и поддомейн. shop.domain.bg има нужда от собствен файл.
Размер	Google чете до 500 KiB. Всичко след това се игнорира.
Кеш	Google пази копие обикновено до 24 часа. Промените не са мигновени.
Код 404	Ако файлът липсва, Google приема, че няма ограничения.
Код 5xx	Ако сървърът връща грешка, Google спира обхождането за първите 12 часа и после ползва последното запазено копие до 30 дни.
Главни и малки букви	Пътищата са чувствителни: /Admin/ и /admin/ са различни правила.
Кодиране	UTF-8, обикновен текст. Невалидните редове се пропускат без предупреждение.

Точката за кода 5xx е особено важна. Ако хостингът Ви връща грешка на този адрес за дълго, Google може да спре да обхожда сайта. Затова проверете не само съдържанието, но и дали файлът се отваря нормално.

Синтаксис на robots.txt: директиви и примери

Файлът се състои от групи. Всяка група започва с User-agent (за кой бот се отнася) и продължава с правила Disallow и Allow.

User-agent

Посочва бота. Звездичка (*) означава всички ботове. Ако за даден бот има отделна група, той следва само нея и игнорира групата със звездичка.

User-agent: Googlebot

Disallow

Забранява обхождането на път. Празен Disallow: означава „всичко е позволено“.

Disallow: /wp-admin/

Allow

Разрешава конкретен път вътре в забранена папка. Google винаги поддържа Allow.

Allow: /wp-admin/admin-ajax.php

Sitemap

Посочва пълния адрес на картата на сайта. Може да има няколко реда Sitemap и те не са обвързани с конкретен бот.

Sitemap: https://вашдомейн.bg/sitemap_index.xml

Заместващи символи * и $

• * замества произволен брой символи. Disallow: /*?sort= блокира всички URL адреси с параметър за сортиране.
• $ означава край на адреса. Disallow: /*.pdf$ блокира всички PDF файлове.

Кое правило печели?

Когато два реда си противоречат, Google прилага най-конкретното правило – това с най-дълъг път. Ако са еднакво дълги, печели по-малко ограничителното (Allow).

User-agent: *

Disallow: /shop/

Allow: /shop/produkti/

Тук /shop/produkti/obuvki се обхожда (по-дългото правило е Allow), а /shop/kolichka – не.

Директиви, които Google не поддържа

Тук се крият най-упоритите митове:

• Crawl-delay – Google го игнорира. Bing и Yandex го спазват.
• Noindex във файла – Google спря да го поддържа през 2019 г. Ако все още го имате, той не прави нищо.
• Коментари с # – позволени са и се игнорират. Използвайте ги, за да обясните защо има дадено правило.

Примери за robots.txt, готови за копиране

Позволи всичко

Подходящ за малки сайтове без админ панел или филтри.

User-agent: *

Disallow:

Sitemap: https://вашдомейн.bg/sitemap.xml

Блокирай всичко (само за тестов сайт!)

User-agent: *

Disallow: /

Това са най-опасните два реда в интернет. Слага се на staging версии и често забравя да се махне при пускането на новия сайт. Ако след редизайн трафикът Ви е паднал до нула – проверете първо тук.

Robots.txt за WordPress

WordPress създава виртуален robots.txt автоматично. Препоръчителната основа изглежда така:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /?s=

Disallow: /search/

Sitemap: https://вашдомейн.bg/sitemap_index.xml

Важно: не блокирайте /wp-content/ и /wp-includes/. Там са CSS и JavaScript файловете, без които Google не може да види как изглежда страницата Ви. Това беше стар съвет, който днес вреди.

Robots.txt за WooCommerce онлайн магазин

Тук печалбата от добре написан файл е най-голяма, защото филтрите създават хиляди безполезни адреси:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /cart/

Disallow: /checkout/

Disallow: /my-account/

Disallow: /*?add-to-cart=

Disallow: /*?orderby=

Disallow: /*?filter_

Disallow: /*?min_price=

Disallow: /?s=

Sitemap: https://вашдомейн.bg/sitemap_index.xml

Ако сайтът е на български и страниците са /количка/ и /плащане/, добавете и тях. Проверете точните адреси в настройките на WooCommerce, преди да копирате. Ако планирате нов магазин, вижте как подхождаме към структурата при изработка на онлайн магазин.

Robots.txt и AI ботовете: GPTBot, ClaudeBot, Google-Extended

Това е тема, която нито един от водещите резултати в Google не покрива добре на български. Всяка голяма AI компания има свои ботове и почти всички спазват правилата Ви. Важно е да различавате два типа:

Бот	Компания	За какво служи
GPTBot	OpenAI	Събира данни за обучение на модели
OAI-SearchBot	OpenAI	Търсене в ChatGPT – показва сайта Ви като източник
ClaudeBot	Anthropic	Събира данни за обучение
Claude-SearchBot	Anthropic	Търсене в Claude
Google-Extended	Google	Обучение на Gemini (не влияе на Google Търсене)
PerplexityBot	Perplexity	Индекс за търсене в Perplexity
CCBot	Common Crawl	Отворен архив, използван за обучение на много модели

Ако искате да не давате съдържанието си за обучение, но да се появявате в отговорите на ChatGPT и Claude, можете да блокирате само ботовете за обучение:

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: CCBot

Disallow: /

Нашият съвет за малкия бизнес: не бързайте да блокирате. За местна фирма или онлайн магазин е по-ценно ChatGPT и Gemini да Ви препоръчват, отколкото да пазите статиите си. Ако целта Ви е точно това, вижте как работи AI SEO оптимизацията.

Robots.txt срещу noindex: кога кое да използвате

Това е най-скъпата грешка в техническото SEO. Много собственици блокират страница в robots.txt, за да я махнат от Google – и тя остава в резултатите с надпис „Няма налична информация за тази страница“.

Защо? Защото този файл забранява на Google да влезе в страницата. Ако ботът не може да влезе, той не вижда и тага noindex в нея. А ако други сайтове сочат към страницата, Google може да я индексира само по линковете.

Цел	Правилен инструмент
Страницата да не се показва в Google	Мета таг noindex (страницата трябва да е отворена в robots.txt)
Ботът да не губи време в безполезни адреси	Disallow в robots.txt
Дублирано съдържание	Canonical таг
Наистина поверителни данни	Парола или ограничение на ниво сървър

И още нещо: файлът е публичен. Всеки може да го прочете. Ако пишете Disallow: /tajna-papka/, Вие практически рекламирате къде е тайната папка. За поверителни данни използвайте парола. Ако тези термини звучат непознато, нашият речник SEO значение: 40 термина ги обяснява просто.

Мета robots и X-Robots-Tag: другите два инструмента

Robots.txt е само един от трите начина да говорите с ботовете. Другите два работят на ниво отделна страница или файл и често са по-подходящият избор.

Мета тагът robots се слага в <head> частта на страницата:

<meta name=“robots“ content=“noindex, follow“>

Той казва „не показвай тази страница в резултатите, но следвай линковете в нея“. Подходящ е за страници като „Благодарим за поръчката“, вътрешни резултати от търсене, страници с тагове и архиви по автор, които нямат стойност за търсещия. В WordPress с Rank Math го задавате от секцията Advanced под всяка публикация или общо за цели типове съдържание в Titles & Meta.

X-Robots-Tag е същото правило, но изпратено като HTTP хедър от сървъра. Използва се за файлове, в които не може да се сложи мета таг – PDF документи, изображения, ценови листи в Excel:

X-Robots-Tag: noindex

Ето кратко сравнение на трите инструмента:

Инструмент	Ниво	Спира обхождането	Спира индексирането
Robots.txt	Цял сайт или папка	Да	Не
Мета robots	Една HTML страница	Не	Да
X-Robots-Tag	Всеки файл (PDF, изображение)	Не	Да

Добрата практика е проста: с robots.txt управлявате къде ботът губи време, а с мета robots и X-Robots-Tag решавате какво се показва в Google.

Пример от практиката: онлайн магазин с филтри

Ето сценарий, който виждаме често при одити на WooCommerce магазини. Магазин с около 800 продукта има филтри по цвят, размер, марка и цена. Всяка комбинация от филтри създава нов адрес. Математиката е безмилостна: 10 цвята × 8 размера × 20 марки дават 1 600 комбинации само за една категория, а с подреждането по цена и популярност – още няколко пъти повече.

В Google Search Console това изглежда така: в отчета за индексиране хиляди адреси са в статус „Обходено – понастоящем не е индексирано“ или „Открито – понастоящем не е индексирано“. Междувременно новите продукти чакат седмици, докато Google стигне до тях.

Решението обикновено е комбинация от три стъпки:

1. Блокиране на параметрите във файла – Disallow: /*?filter_, Disallow: /*?orderby= и подобни.
2. Canonical към основната категория за филтрираните страници, които остават достъпни.
3. Отделни SEO страници за комбинациите, които хората наистина търсят – например „червени маратонки“ – с уникален текст, вместо автоматично генериран филтър.

Резултатът не е мигновен, но в рамките на няколко седмици Google започва да обхожда по-често страниците, които носят продажби. Ако тепърва изграждате магазин, планирайте филтрите и техните адреси още на етап структура – много по-лесно е, отколкото да ги поправяте след като Google вече е обходил хиляди безполезни страници.

Как да създадете и редактирате robots.txt

В WordPress с Rank Math

1. Отидете в Rank Math → General Settings → Edit robots.txt.
2. Въведете правилата и запазете.
3. Отворете вашдомейн.bg/robots.txt в браузъра и проверете, че промяната е там.

Ако полето е заключено, значи в основната директория вече има физически файл. Изтрийте го или го редактирайте директно през хостинга.

Ръчно през хостинга

1. Създайте файл с име точно robots.txt (малки букви) в обикновен текстов редактор.
2. Запазете го в кодиране UTF-8.
3. Качете го в основната папка на сайта (обикновено public_html) през файловия мениджър или FTP.

В Shopify

Shopify генерира файла автоматично. За промени се редактира шаблонът robots.txt.liquid в темата – правете го внимателно, защото грешка тук засяга целия магазин.

Как да проверите robots.txt файла си

1. Отворете го в браузъра. Адресът трябва да се отвори с код 200 и да показва текст, а не грешка.
2. Google Search Console → Настройки → robots.txt. Отчетът показва кога Google последно е прочел файла, дали е имало грешки и кои версии е намерил за всеки поддомейн.
3. Инспекция на URL адрес. В Search Console въведете важна страница и вижте дали пише „Обхождането е разрешено“.
4. Проверете след всяко пускане на нов сайт. Особено ако сайтът е бил на тестов домейн.

Тази проверка е една от първите стъпки във всеки технически преглед. Ако искате да минете през целия процес, следвайте нашето ръководство как да направите SEO одит на сайта си.

7 често срещани грешки в robots.txt

1. Disallow: / остава след пускане на нов сайт. Целият сайт изчезва от Google.
2. Блокиране на CSS и JavaScript. Google вижда счупена страница и може да я класира по-ниско.
3. Използване на robots.txt вместо noindex. Страницата остава в Google, но без описание.
4. Грешен регистър. Disallow: /Checkout/ не блокира /checkout/.
5. Файл на грешно място. Копие в подпапка не се чете.
6. Забравен поддомейн. Основният домейн е настроен, а shop. или blog. поддомейнът – не.
7. Липсваща директива Sitemap. Не е грешка, но е пропусната лесна възможност да помогнете на търсачките.

Чеклист за правилен robots.txt

• Файлът се отваря на /robots.txt с код 200.
• Няма Disallow: / за всички ботове на работещ сайт.
• CSS, JavaScript и изображения не са блокирани.
• Филтри, сортиране, количка и вътрешно търсене са блокирани (за онлайн магазини).
• Има ред Sitemap с пълния адрес.
• Страниците с noindex не са блокирани в robots.txt.
• Решили сте съзнателно какво да правите с AI ботовете.
• Няма отчети за грешки в Google Search Console.

Често задавани въпроси

Заключение

Robots.txt е един от най-малките файлове на сайта Ви и един от малкото, които могат да го извадят изцяло от Google. Запомнете трите основни правила: той управлява обхождането, а не индексирането; не блокирайте CSS и JavaScript; и проверявайте файла след всяка голяма промяна по сайта.

Ако не сте сигурни дали този файл и останалите технически настройки на сайта Ви работят в полза на класирането, техническият преглед е част от нашите SEO услуги. Заявете безплатен анализ и ще Ви кажем какво спира Google да вижда сайта Ви така, както го виждат клиентите Ви.