GEO: как ChatGPT, Claude и Gemini намират и четат сайтове
Здравейте!
Преди човек задаваше въпрос на търсачка и получаваше десет връзки. Сега все по-често пита ChatGPT, Gemini, Claude, Perplexity или Copilot и получава готов отговор. Връзките в такъв отговор са две-три, а понякога и нито една. Понякога асистентът отива по-нататък: сам отваря сайта, попълва формуляр, слага стока в количката. Ако сайтът не е готов за това, той изпада от отговорите или попада в тях с грешки.
Статията е за тези, които поддържат блог, фирмен сайт или онлайн магазин и искат да разберат какво да правят по въпроса. Програмиране не се изисква: код има само в няколко примера и можете да ги пропуснете. Вътре:
- какво е GEO и с какво се различава от обикновеното SEO;
- как асистентите намират и четат сайтове, какви роботи идват и как се управляват;
- какво да проверите в Cloudflare, AWS и други CDN, в конструкторите на сайтове и в Astro;
- как да подготвите текста и маркирането;
- как да проверите, че всичко работи, и кои съвети не работят;
- какво от това е направено на този сайт.
Как асистентът може не само да чете сайта, но и да действа в него и как са устроени покупките чрез ИИ – във втората статия: „MCP и WebMCP: как ИИ асистентите действат в сайтовете и пазаруват в онлайн магазини“.
Ако имате малко време, започнете с три проверки. Всяка отнема няколко минути:
- Погледнете в панела на хостинга или на CDN дали там не се блокират роботите на ИИ. Къде да търсите – в раздела за Cloudflare и другите доставчици.
- Уверете се, че текстът на страниците се вижда без JavaScript. Как да го направите – в раздела за съдържанието.
- Отворете отчетите за показванията в отговорите на ИИ в Search Console и Bing Webmaster Tools. За тях – в раздела за измерването.
Всичко описва състоянието към ноември 2026 г. Областта се променя бързо. Където се опирам на преразказ, а не на документацията на самата компания, това е казано направо: „по данни на…“, „съобщава се“. Връзките към първоизточниците са директно в текста.
Какво е GEO и с какво се различава от SEO?
SEO (Search Engine Optimization) – работа за това сайтът да се намира в Google, Bing и други търсачки. GEO (Generative Engine Optimization, „оптимизация за генеративни двигатели“) – работа за това сайтът да бъде намиран, цитиран и преразказван правилно от ИИ асистентите. Генеративен двигател е всяка система, която не просто показва списък с връзки, а сама пише отговор: AI Overviews (ИИ обобщението над резултатите на Google) и AI Mode (режимът за диалог в Google), ChatGPT с търсене, Perplexity, Copilot, Claude с уеб търсене.
Срещат се още две имена: AEO (Answer Engine Optimization) и LLMO (Large Language Model Optimization). По същество това е същото. Нататък пиша само GEO.
Основната разлика е в резултата. В обикновеното търсене целта е да попаднете на първата страница и да получите клик. В отговора на асистента сайтът или е посочен като източник, или не е. По такива връзки кликат по-рядко: човекът вече е получил отговор. Затова е важна не позицията в резултатите, а дали ви цитират и какво казват за вас.
При това GEO почти изцяло стъпва на обикновеното SEO. Google в своето ръководство за оптимизация за ИИ пише направо: ИИ функциите на търсенето се опират на същите системи за класиране и оценка на качеството като обикновеното търсене и не изискват специална оптимизация. Там е изброено и какво е нужно: оригинално полезно съдържание, ясни заглавия, подредба, удобна за преглеждане, а за магазините – каталог в Merchant Center и фирмен профил. Официалната позиция на Google: GEO и AEO са все същото SEO.
И все пак отделен разговор за GEO е нужен, по две причини.
- Роботите станаха повече и са различни. Едни събират текстове за обучение на модели, други работят като търсене, трети идват в секундата, в която човек е попитал нещо. С тях трябва да се държите по различен начин, а обикновеният SEO чеклист мълчи за това.
- Появиха се агенти, които действат. Асистентът не само чете страницата, но и извиква функции на сайта: търси стока, проверява наличност, изпраща формуляр. За това се появиха нови протоколи, MCP и WebMCP. За тях – отделна статия.
Защо това е важно точно сега?
Представете си магазин за чай. Преди купувачът въвеждаше в търсачката „зелен чай сенча купи“, виждаше десет връзки, отваряше три от тях и сравняваше цените сам. Сега пише на асистента: „намери добър зелен чай до 15 евро с доставка в Германия за три дни“. Асистентът сам сравнява магазините и показва кратък списък. Ако на страницата на вашия магазин срокът за доставка не е посочен така, че машина да може да го прочете, или роботът на асистента не е успял да отвори страницата, вас ви няма в този списък. Купувачът дори няма да разбере: той не е видял, че можете да бъдете избран.
С блога е същото. Човек пита: „как да настроя хукове в Claude Code“. Асистентът чете няколко източника, съставя отговор и посочва откъде какво е взел. Дали ще попаднете сред тях, зависи от три неща: дали търсенето ви е намерило, дали роботът е успял да прочете страницата и дали е лесно да се намери отговор в нея.
Това е смисълът на GEO: да не давате на асистента причина да ви загуби на нито една от тези стъпки. За целта трябва да се разбира как той работи. Започваме с това как асистентите изобщо научават за сайтовете.
Как ИИ асистентът научава за сайта?
Асистентът научава за света по два независими пътя. Важно е да ги различаваме: управляват се по различен начин.
Първи път – обучение. Компанията събира огромен набор от текстове, включително от страници на сайтове, и обучава върху него модел. Моделът запомня общи закономерности и факти, но не помни адреси и не може да цитира вчерашна статия. Новите модели се обучават веднъж на няколко месеца, затова това, което напишете днес, ще попадне в модела нескоро, а може и никога. Роботите, които събират текстове за обучение, се наричат обучаващи (training crawlers).
Втори път – търсене и четене в момента на въпроса. Когато асистентът не е сигурен в отговора или въпросът изисква свежи данни, той отива в интернет. Тук работят роботи от два вида:
- търсещи роботи предварително обхождат сайтовете и ги складират в индекс, както го прави обикновената търсачка;
- роботи по искане на потребителя (user-initiated fetchers) идват на страницата в секундата, в която човек е поискал: „прочети тази връзка“ или „погледни сайта и ми разкажи“.
Получават се три вида гости: обучаващи роботи, търсещи и „по искане“. Целите им са различни и за всеки вид може да се решава поотделно. Търсещите почти винаги си струва да се пускат: без тях вас ви няма в отговорите. С обучаващите изборът е ваш. Мнозина им затварят достъпа, за да не дават текстовете си безплатно. Други ги пускат, за да знаят моделите за тях и без търсене. Този сайт например е отворен за всички; защо – в раздела за това как е устроен.
Чий индекс използва всеки асистент?
Индексът е списъкът със страници, по който се търси. Откъде го взема всеки асистент:
| Асистент | Откъде взема страниците |
|---|---|
| Google AI Overviews и AI Mode | индексът на обикновеното Google Search; страницата трябва да е индексирана и допусната за показване на сниппети, други условия няма (документация на Google) |
| Gemini (приложение) | индексът на Google Search; дали могат да се използват вашите страници, решава токенът Google-Extended (за него – по-долу) |
| ChatGPT с търсене | в отговорите попадат сайтове, отворени за робота OAI-SearchBot (OpenAI); каква роля играе индексът на Bing, компанията не разкрива |
| Perplexity | собствен индекс, който се попълва от PerplexityBot (документация) |
| Claude | уеб търсенето, по всичко личи, работи на Brave Search: Anthropic не е обявявала това, но през март 2025 г. е вписала Brave в официалния списък на подизпълнителите, на които предава данни (Саймън Уилисън) |
| Copilot | индексът на Bing (по вторични данни) |
| Meta AI | според съобщения източниците за цитиране ги събира роботът Meta-WebIndexer |
Изводът е прост. За да попаднете в отговорите на Google, трябва да сте в индекса на Google; в Copilot – в индекса на Bing; в ChatGPT – да пуснете робота OAI-SearchBot. Всичко това е обикновена хигиена на сайта: карта на сайта (sitemap – файл със списък на всички страници), нормална индексация и отворен достъп за роботите.
Какво се случва, когато човек зададе въпрос?
Опростено, асистентът с търсене действа така:
- Решава дали му стигат собствените знания. Ако въпросът е за свежи събития, цени или документация, отива в търсене.
- Превръща въпроса в една или няколко заявки за търсене. Обикновено те са по-дълги и по-конкретни от тези, които въвежда човекът.
- Получава списък със страници от индекса.
- Чете избраните страници изцяло или на фрагменти.
- Пише отговор и поставя връзки към източниците, от които е взел фактите.
- Ако човекът после поиска „отвори тази връзка“, идва роботът по искане на потребителя.
На всяка стъпка сайтът може да отпадне:
- сайтът го няма в индекса – няма да попадне в списъка на стъпка 3;
- роботът е блокиран – страницата няма да бъде прочетена на стъпка 4;
- без JavaScript страницата е празна – така и ще я прочетат, празна;
- отговорът е скрит в средата на дълъг текст – няма да бъде цитиран на стъпка 5.
Нататък ще разгледаме всеки от тези случаи.
Какво прави асистентът със страницата, която е прочел?
Прочетената страница не попада в отговора изцяло. Асистентът извлича от нея нужните факти и ги преразказва. Оттук следват три извода, които е полезно да помните, когато пишете текст.
- Преразказът може да изкриви. Ако на едно място на страницата пише „доставка 4,9 евро“, а на друго „безплатна доставка от 30 евро“ и това никъде не е свързано, асистентът може да избере грешното. Пишете условието до твърдението: „доставка 4,9 евро, а при поръчка от 30 евро е безплатна“.
- Връзката получава този, който е формулирал факта ясно. Ако два сайта казват едно и също, но единият го е казал с едно ясно изречение, по-вероятно е връзката да получи той. Гаранция няма, но логиката е ясна: на асистента му е по-лесно да вземе готова формулировка.
- Противоречията вредят. Ако сайтът на различни места посочва различни цени, версии или дати, асистентът ще избере наслуки или изобщо ще се откаже от източника. Държете цените, сроковете и версиите на едно място – това е по-важно от всяка „оптимизация“.
Всичко това прави сайта удобен и за хората, така че не се налага да избирате между „пиши за хората“ и „пиши за асистентите“.
Какви роботи идват от ИИ и как да се управляват?
Всеки робот се представя с низ в хедъра на заявката. Той се нарича user agent и по него сървърът разбира кой е дошъл. robots.txt е текстов файл в корена на сайта, където за всеки user agent е написано какво му е позволено. Това е молба, а не защита: добросъвестните роботи я изпълняват, недобросъвестните могат да я игнорират.
Какви видове роботи има?
| Робот | Чий е и за какво | Как се отнася към robots.txt |
|---|---|---|
| GPTBot | OpenAI, събиране на текстове за обучение | спазва |
| OAI-SearchBot | OpenAI, търсенето на ChatGPT; от него зависи дали сайтът ще попадне в отговорите | спазва |
| ChatGPT-User | OpenAI, посещение по искане на потребителя | според документацията на OpenAI правилата на robots.txt може да не се прилагат |
| ClaudeBot | Anthropic, събиране за обучение | спазва |
| Claude-SearchBot | Anthropic, търсенето на Claude | спазва |
| Claude-User | Anthropic, посещение по искане на потребителя | спазва |
| PerplexityBot | Perplexity, индекс на търсенето; не се използва за обучение на базови модели | спазва |
| Perplexity-User | Perplexity, посещение по искане на потребителя | според документацията по правило игнорира |
| Google-Extended | Google, разрешение за обучение на Gemini върху вашите страници и за използването им в отговорите на Gemini | това не е робот, а само име за правила в robots.txt: страниците ги обхожда обикновеният робот на Google |
| Applebot-Extended | Apple, разрешение за обучение на моделите на Apple | също само име за правила; не влияе на търсенето чрез Applebot |
| Meta-ExternalAgent | Meta, събиране на текстове за обучение на модели и за продуктите на Meta | спазва |
| Meta-ExternalFetcher | Meta, посещение по искане на потребителя | според документацията може да заобикаля robots.txt |
| CCBot | Common Crawl – отворен архив на интернет, върху който се обучават много модели | спазва |
Основното, което се вижда от таблицата: роботите „по искане на потребителя“ най-често не са длъжни да слушат robots.txt. Логиката на компаниите е ясна: човекът сам е поискал да се отвори страницата, а това е почти същото като да я отвори в браузъра. За да затворите страницата за такова посещение, трябват вход с парола или защита на сървъра, а не robots.txt.
Няколко уточнения:
- Google-Extended не влияе на обикновеното търсене. Google пише, че този токен „не влияе на включването в Google Search и не е сигнал за класиране“. AI Overviews са част от Google Search, затова и от тях той не премахва сайта. ИИ обобщенията могат да се ограничат само със същите правила като обикновените сниппети (
nosnippet,max-snippet,noindex), а те ще орежат сайта и в обикновените резултати. - Anthropic спазва директивата
Crawl-delay(пауза между заявките на робота) и не заобикаля капчите. - Общ забранителен сигнал за обучението. Работната група на IETF, която приема стандартите на интернет, подготвя общ начин да се каже „не обучавайте върху моите текстове“ (AIPREF). Anthropic разбира неговата чернова от 30 октомври 2026 г., а Google обещава поддръжка през 2027 г. Докато стандартът не е приет, обучаващите роботи е по-надеждно да се изброяват поименно, както в примера по-долу.
- Perplexity през август 2025 г. се оказа в центъра на скандал: Cloudflare го обвини в скрити роботи, които се представяли за обикновени браузъри, и изключи Perplexity от списъка с проверени ботове. Урокът е общ: името на робота се подправя лесно, затова надеждната проверка се опира на адреси и подписи (за тях – по-долу).
Как да пуснем в robots.txt ИИ търсенето, но да затворим обучението?
Примерът по-долу разделя роботите на три групи. Търсещите роботи на ИИ ги пускаме. Събирачите на текстове за обучение не ги пускаме. Всички останали, включително Googlebot и Bingbot, ги пускаме. В блока за всички е добавен и редът Content-Signal, за него – веднага след примера.
# Търсещи роботи на ИИ: нека намират сайта и да се позовават на него в отговоритеUser-agent: OAI-SearchBotUser-agent: Claude-SearchBotUser-agent: PerplexityBotAllow: /
# Роботи, които събират текстове за обучение на модели: не ги пускамеUser-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: Applebot-ExtendedUser-agent: Meta-ExternalAgentUser-agent: CCBotDisallow: /
# Всички останали, включително Googlebot и BingbotUser-agent: *Content-Signal: search=yes, ai-input=yes, ai-train=noAllow: /
Sitemap: https://example.com/sitemap.xmlКак да четем това. Няколко реда User-agent подред образуват една група и правилото под тях се отнася за всички изброени роботи. Роботът търси групата, в която името му е посочено точно, а ако такава няма, взема групата *. Проверих този файл със стандартния разбор на robots.txt в Python. Търсещите роботи на ИИ получават достъп, обучаващите – не, Googlebot минава по групата *. Редът Content-Signal не разваля разбора: непознатите редове той пропуска.
Две предупреждения. Първо: правилата за GPTBot не се отнасят за ChatGPT-User и OAI-SearchBot – това са отделни роботи. Второ: ако затворите OAI-SearchBot, сайтът ще изчезне от търсенето на ChatGPT. Промените в robots.txt OpenAI подхваща приблизително за денонощие.
Какво са Content Signals?
Content Signals е разширение на robots.txt, което Cloudflare предложи през септември 2025 г. В него се изброяват не роботи, а това, за което може да се използва съдържанието. Сигналите са три:
search– изграждане на търсещ индекс и показване на връзки и сниппети;ai-input– даване на съдържание на ИИ в отговор на заявка, тоест използване като източник за отговор;ai-train– обучаване и дообучаване на модели.
Редът Content-Signal: search=yes, ai-input=yes, ai-train=no означава: „в търсенето и в отговорите може, за обучение не“. Засега такива сайтове не са много: по данни на самия Cloudflare към април 2026 г. сигналите са обявили около 4% от двеста хиляди най-посещавани домейна.
Сигналът може да има и юридическа тежест. В ЕС директивата за авторското право (член 4) позволява на собственика да забрани автоматичния анализ на текстовете си, ако забраната е записана във вид, четим за машина, и такъв ред може би подхожда. Но това е въпрос към юристите. Технически сигналът остава молба: роботът може да не го спазва.
Защо robots.txt не е достатъчен и какво още може да пречи?
Случва се robots.txt да е написан правилно, а роботът все пак да не може да прочете сайта. Причината е в защитата от ботове. Поставят я CDN (мрежи от сървъри, които доставят сайта на посетителите и същевременно го защитават) като Cloudflare и Akamai, хостингите и плъгините за сигурност. Ако защитата е настроена твърде строго, тя не различава вредния бот от OAI-SearchBot и не пуска и двамата. Може да не подозирате това: в robots.txt всичко е разрешено, а роботът получава отказ или страница с проверка „не съм робот“.
Как да проверите:
- Отворете журнала за достъп (лога) на сървъра или панела на услугата за защита и потърсете там нужния робот: идва ли и какъв отговор получава. Отговори 403 („забранено“) и 429 („твърде много заявки“) към търсещ робот са тревожен знак.
- Не вярвайте само на името: с чуждо име може да се представи всеки. OpenAI и Perplexity публикуват списъци с адресите на своите роботи, например
openai.com/searchbot.jsonиperplexity.ai/perplexitybot.json. По тях можете да се уверите, че гостът е истински, и да вкарате тези адреси в разрешените в правилата на защитата. - Не забравяйте роботите „по искане на потребителя“. Ако искате асистентът да може да отвори страница, към която човекът му е изпратил връзка, защитата трябва да пуска и тях. Към robots.txt, както видяхме, те често не поглеждат, така че всичко решават настройките на защитата.
Какво да изберете, зависи от сайта. На магазин и блог, които живеят от видимост, им е изгодно да пускат търсещите роботи и роботите по искане; за обучаващите всеки решава сам. На сайт с платено или закрито съдържание му трябва обратното и там е нужен вход с парола, а не молба в robots.txt. Къде са всички тези превключватели при Cloudflare и други доставчици – в следващия раздел.
Какво може да се настрои в Cloudflare и при други доставчици?
Между ИИ роботите и вашия сайт почти винаги стои някой друг: CDN, хостинг или конструктор на сайтове. Техните настройки действат преди robots.txt. Те могат да пуснат робота или да го върнат от прага, да напишат robots.txt вместо вас, да променят страницата по пътя към читателя и да покажат кой е идвал. Достатъчен е един забравен превключвател, за да изпадне сайтът от отговорите на ИИ, а на самия сайт това няма да си личи.
По-долу е състоянието към 12 ноември 2026 г. Най-подробно е за Cloudflare: на него работи този сайт и аз минах през всички нужни екрани на неговия панел на безплатния план. За другите CDN, облаци и конструктори разказвам по тяхната документация.
Къде в Cloudflare са настройките за ИИ?
В панела на домейна за тях има три места:
- AI Crawl Control – отделен пункт от менюто: списък с ИИ роботи с превключвател за блокиране при всеки, статистика за посещенията им и състоянието на robots.txt;
- Agent Readiness – следващият пункт: проверка дали сайтът е готов за агенти, а също Markdown for Agents и WebMCP;
- Security → Settings, групата „Bot traffic“: главните политики за достъп, Bot Fight Mode и AI Labyrinth.
Почти всичко това работи на безплатния план; изключенията са посочени там, където се срещат.
Кого Cloudflare пуска?
Главният превключвател е AI Crawler and Agent access policies (Security → Settings, филтър „Bot traffic“). В старите инструкции се нарича „Configure AI bot policies“ или „Block AI bots“. Роботите в него са разделени на три групи според това, което правят:
- Search – роботи, които индексират сайта, за да отговарят после на въпроси за него;
- Training – събирачи на текстове за обучение на модели, включително смесените, които служат и за търсене, и за обучение;
- Agents – тези, които действат от името на човека в момента: отварят страница от чата или работят в браузър.
За всяка група се избира: да се пуска, да се блокира навсякъде или да се блокира само на страници с реклама. При Training има още един вариант, Disallow. Той работи само заедно със синхронизацията на robots.txt (Bot Preference Sync, за нея – малко по-долу), затова ги включвайте заедно. Тогава Cloudflare ще запише забраната за обучение в robots.txt и освен това ще блокира обучаващите роботи при себе си, още преди сайта. Смесените роботи като Googlebot, Bingbot и Applebot това блокиране не ги засяга, за да не изпадне сайтът от обикновеното търсене. Една уговорка от анонса на Cloudflare: Bing засега не разбира тази забрана в robots.txt, Microsoft обещава поддръжка до началото на 2027 г. Дотогава обучението за Bing може да се затвори със собствения му метатаг NOARCHIVE.
В групата Agents има отделен списък с персонални агенти – помощници, които работят за един конкретен човек: Claude Duet (Anthropic), dots (OpenAI), Gemini Spark (Google) и Muse (Meta). По подразбиране те следват политиката на Agents, но за всеки може да се зададе своя. Cloudflare съветва да ги пускате.
Проверете този превключвател, дори ако никога не сте го пипали. При новите домейни всичко е разрешено. Но ако при свързването сте казали, че сайтът печели от реклама, обучението ще бъде забранено, а агентите – блокирани на страниците с реклама. А на тези, които преди са включвали „Block AI bots“, Cloudflare през септември 2026 г. сам смени настройките: търсенето е разрешено, обучението е забранено, агентите се блокират на страниците с реклама.
Редом с политиките има още три настройки, които решават кой ще влезе:
- Bot Fight Mode проверява всички подозрителни ботове в домейна и на безплатния план за него не може да се направи изключение. Ако искате до вас да стигат ИИ агенти и MCP клиенти (за тях – в статията за MCP и WebMCP), дръжте го изключен. На платените планове вместо него има Super Bot Fight Mode: там действието се избира за всеки клас ботове и могат да се правят изключения.
- Browser Integrity Check отсича заявки с липсващи или подозрителни хедъри. На този сайт е включен и не пречи: всички ИИ роботи, които опитах, и дори заявка без никакъв user agent получиха страницата.
- AI Labyrinth добавя към страниците невидими за хората връзки с отметка nofollow („не следвай“), които водят към лабиринт от генерирани страници. Честните роботи не ходят по такива връзки, така че капанът хваща само онези, които игнорират правилата.
Списъкът с отделните роботи е в AI Crawl Control → Security: за всеки са посочени компания, категория и превключвател за блокиране. Освен „пусни“ и „блокирай“, там има и трето действие – Charge, такса за всяка страница (Pay per crawl). Роботът, който не е платил, получава отговор 402 („изисква се плащане“) с цена. Засега това е затворена бета.
Как Cloudflare отличава истинския робот от този, който се е представил с неговото име? По адресите, от които идва роботът, и по Web Bot Auth – цифров подпис на заявките. Агентът подписва всяка заявка със своя таен (частен) ключ, а публичния ключ публикува на своя сайт. Cloudflare сверява подписа с този ключ. Името е лесно да се подправи, а подпис без частния ключ – не. От юли 2026 г. Cloudflare смята агентите с верен подпис за проверени ботове. Технически това е стандартът RFC 9421 с ключове Ed25519.
Какво Cloudflare пише в robots.txt?
Bot Preference Sync (преди се наричаше „Managed robots.txt“) пренася вашите политики в robots.txt. В началото на файла тя поставя свой блок: забрана за роботите от блокираните групи и ред Content-Signal с пояснение. Вашите собствени редове остават по-долу, а ако robots.txt не е имало, тя го създава. Важна подробност: блокът се появява само ако поне една политика нещо забранява. Ако всичко е разрешено, файлът си остава както е, без сигнали, и реда Content-Signal ще трябва да го напишете сами. При новите домейни синхронизацията е включена, при старите се включва в същия прозорец като политиките.
Резултатът може да се провери в раздела Signals в AI Crawl Control. Там се вижда дали robots.txt отговаря, има ли в него Content Signals и кои ИИ роботи са ходили там, където robots.txt не ги пуска.
Какво Cloudflare показва за ИИ трафика?
- Overview и Metrics в AI Crawl Control: колко заявки е направил всеки робот и всяка компания, какви отговори са получили и кои страници са искали най-често.
- Optimization: колко пъти страниците са вземани за отговори, какво асистентите са се опитвали да отворят, но не са успели, и чии асистенти идват по-често.
- Security → Analytics → Events: кого са блокирали или проверили и с кое правило. На безплатния план това е извадка, но стига, за да се намери робот, когото връщат.
За пример – седмицата на този сайт през ноември 2026 г. ИИ роботите направиха около 4000 заявки: около 2500 получиха страницата, 844 – пренасочване, 416 – „не е намерено“ и само една – отказ. „Не е намерено“ получаваха най-вече налучкани адреси като /sitemap.xml и заявки за файловете /.env с пароли – най-вероятно от скенери за уязвимости под чужди имена. Най-често страници за отговори взимаше Perplexity, следван от OpenAI, Apple и Anthropic.
Как Cloudflare помага на агентите да четат сайта и да го използват?
- Markdown for Agents (планове Pro и нагоре): Cloudflare в движение превръща страницата в markdown за агентите, които го искат. Повече – в раздела за llms.txt.
- Agent Readiness → Diagnostics проверява сайта по около двадесет признака: от robots.txt и картата на сайта до картата на MCP сървъра и WebMCP. За всяка непреминала проверка панелът обяснява какво не е наред и дава готова задача за ИИ помощника на програмиста. Не всичко от списъка е нужно на всеки сайт, а llms.txt тази проверка не гледа.
- WebMCP (бета): Cloudflare сам добавя в страниците готови инструменти за агентите в браузъра – например отваря им инструментите на вашия MCP сървър. Какво е това – в статията за MCP и WebMCP. Ако сайтът сам регистрира такива инструменти, както този, не го включвайте: агентът ще ги види два пъти.
- AI Search: Cloudflare индексира сайта и дава търсене в него заедно със свой MCP сървър – готова замяна на собствения сървър.
- Crawler Hints (Caching → Configuration, безплатно): когато страница се променя, Cloudflare сам съобщава за това на Bing, Яндекс и други търсачки, които поддържат протокола IndexNow. Bing научава за новите страници по-бързо, а по индекса на Bing отговаря Copilot.
Кои настройки на Cloudflare тихомълком развалят страниците за ИИ?
Някои настройки никого не блокират, но променят страницата по пътя.
- Email Address Obfuscation (Security → Settings, групата „Client side abuse“) крие имейл адресите от спамерите. Cloudflare заменя всеки адрес в HTML със заглушка „[email protected]“, а скриптът в браузъра после връща адреса на мястото му. Роботът не изпълнява скриптове и вижда заглушката. Капанът е, че настройката намира адреси и в примерите с код. На този сайт тя беше включена и проверката на 12 ноември 2026 г. намери по 32 замени на всеки език, 30 от тях в примери с код. Моделът, който е чел такава страница, е получавал счупен код. Настройката е изключена. Ако на сайта няма истински адреси, които да се крият, изключете я и вие; ако има – изключете страниците с код с отделно правило (configuration rule).
- Rocket Loader променя реда на зареждане на скриптовете. Ако текстът на страницата се вижда без JavaScript, роботите нищо не губят; ако съдържанието се рисува от скриптове, нещо може да се счупи.
- Under Attack mode показва проверка на всички, и на роботите също. Включвайте го само по време на истинска атака и не забравяйте да го изключите.
Какво предлагат другите CDN и облаци?
Принципът навсякъде е един: доставчикът може да спре ИИ робота, преди да е стигнало до robots.txt, а някои превключватели блокират повече, отколкото обещава името им.
- Vercel. В Security → Firewall → Rules има набор от правила AI Bots за ИИ краулери и ИИ асистенти, с действие „запиши“ или „забрани“; работи само ако е включен. Редом е Bot Protection, проверка с JavaScript за всичко, което не е браузър. Проверените ботове тя пропуска, но забраната в AI Bots е по-силна.
- Netlify. Готови правила за ИИ няма: роботите се блокират по име с разширението User Agent Blocker или със собствена функция от страна на CDN. Самият Netlify предупреждава, че роботът може да се представи с чуждо име.
- Fastly. AI Bot Management различава ИИ краулерите и роботите по искане, проверени и подозрителни, и позволява да се блокират, пропускат или прихващат.
- Akamai. Bot & Agent Control дели ИИ роботите на обучаващи, търсещи и агенти, като всяка група има своя политика. Подписите на Web Bot Auth се проверяват.
- AWS. Тук е най-големият капан. Ако включите в AWS WAF (уеб файъруола на Amazon) групата правила Bot Control и не превключите нейното правило CategoryAI в режим Count („само брой“), то ще блокира всички ИИ роботи, дори проверените. Изключенията се правят с отделно правило след Bot Control, а агент с верен подпис на Web Bot Auth минава покрай тези правила.
- Google Cloud. В Cloud Armor няма правила за ИИ роботи; с агентите се занимава Cloud Fraud Defense, наследникът на reCAPTCHA. При Firebase Hosting и Cloud CDN нищо подобно няма.
- Azure. Bot Manager в WAF за Front Door (план Premium) познава само добри, лоши и неизвестни ботове, отделна категория за ИИ няма. Неизвестните по подразбиране само ги записва в журнала. Но ако на неизвестните ботове е назначена проверка с JavaScript, ИИ агентите ще спрат именно на нея.
А ако сайтът е направен с конструктор?
Възможностите тук са по-малко, но затова пък превключвателите се намират по-лесно.
- WordPress.com. „Prevent third-party sharing“ в Settings → Reading добавя известните ИИ роботи към забраната в robots.txt. Това е за обучението, обикновеното търсене не се засяга. Не го бъркайте с „Discourage search engines from indexing this site“: той скрива сайта и от обикновеното търсене. При собствен WordPress robots.txt и llms.txt се правят с плъгини.
- Squarespace. „Block known artificial intelligence crawlers“ в Settings → Crawlers по подразбиране е изключен. Той затваря 26 ИИ робота, сред тях GPTBot, ClaudeBot и Google-Extended, и не засяга обикновеното търсене. Инструментът AI Visibility показва колко често асистентите споменават сайта.
- Wix. Отделен превключвател няма: роботите се затварят в редактора на robots.txt (SEO & GEO → Tools and settings). llms.txt се създава сам на платените планове със свързан домейн, а всеки сайт, по думите на Wix, има свой MCP сървър за агенти.
- Webflow. В Site settings → SEO → Indexing има превключватели за търсещите роботи и за ИИ роботите, по подразбиране и двата разрешават достъп. Има и редактор на robots.txt, в чиято документация е описан редът
Content-Signal. llms.txt се качва като файл. - Shopify. robots.txt се редактира през шаблона
robots.txt.liquid, отделен превключвател за ИИ няма. По-важно е друго – Agentic Storefronts: Shopify сам изпраща каталога в ChatGPT, Perplexity и Copilot, всеки канал се включва отделно. Забраната на ИИ роботи в robots.txt това изпращане не го спира. Витрините на Shopify имат и инструменти на WebMCP. - Tilda. robots.txt не може да се редактира. llms.txt и llms-full.txt могат да се качат в SEO настройките на сайта.
Какво да проверите, ако сайтът е в AWS?
В AWS сайтът обикновено стои зад CloudFront – CDN на Amazon, а файловете са в бъкет на S3 или в Amplify Hosting. Самият AWS не блокира роботите, но тук е лесно да ги блокирате по погрешка. Какво да проверите:
- Уеб файъруолът. Ако в AWS WAF е включена групата правила Bot Control, правилото ѝ CategoryAI блокира всички ИИ роботи освен агентите с верен подпис Web Bot Auth (повече – по-горе, в списъка на доставчиците). Превключете това правило в режим Count или добавете след Bot Control свое правило, което пропуска нужните роботи по етикетите им.
- Страници в папки. CloudFront сам добавя
index.htmlсамо за корена на сайта. На адрес като/blog/post/затвореният бъкет на S3 ще отговори с грешка 403 и роботът ще я види вместо статията. Нужна е малка CloudFront Function, която добавяindex.htmlкъм такива адреси. - Честен отговор 404. За едностраничните приложения често съветват на всеки 403 и 404 да се връща началната страница с код 200. За роботите това е по-лошо: всеки несъществуващ адрес изглежда като истинска страница с един и същ текст. Ако сайтът не е едностранично приложение, връщайте истинска страница 404.
- Служебните файлове. robots.txt, картата на сайта и llms.txt стоят в корена и се отдават като текст или XML. След промяна на robots.txt изчистете кеша на CloudFront (invalidation), иначе роботите още дълго ще получават старата версия.
- Хедърите. Хедъри като
Link(връзка към llms.txt от началната страница) илиX-Robots-Tagв CloudFront се добавят с политика за хедърите на отговора (response headers policy). - Кой идва. Общата картина за ИИ роботите показва AI Activity Dashboard, подробностите – журналите на CloudFront и WAF.
Останалото – текстът в HTML, маркирането, llms.txt – не зависи от хостинга и се прави така, както е описано в тази статия.
А ако сайтът е направен с Astro или подобен генератор?
Генераторите на статични сайтове – Astro, Hugo, Eleventy, Next.js в режим на статичен експорт – вече отдават готов HTML и това е главното. Останалото се настройва в проекта веднъж. С пример от Astro, на който е направен този сайт:
- Текстът в HTML. При билда Astro превръща страниците в готов HTML. Изключение са компонентите с
client:only: на сървъра те изобщо не се рендерират и роботът няма да види текста им. Не дръжте важното в тях. - Адресът на сайта и картата. Посочете
siteв конфигурацията: от него се строят пълните адреси, каноничните връзки и картата на сайта. Интеграцията@astrojs/sitemapслага картата на адрес/sitemap-index.xml, а не/sitemap.xml, затова я впишете в robots.txt. - robots.txt. Сложете го в папката
public/или го генерирайте при билда; в него е редътSitemapи, ако трябва,Content-Signal. - Езиците. Всеки език има свой адрес (в Astro има вградена маршрутизация по езици), а връзките към версиите на другите езици (
hreflang) извежда общият шаблон на страницата. - Маркирането и датите. JSON-LD е удобно да се сглобява в общия шаблон от frontmatter на статията – заглавие, автор, дати на публикуване и редакция. Тогава маркирането винаги съвпада със страницата.
- llms.txt и markdown копията. Те могат да се строят от същата колекция статии с малки ендпойнти като
src/pages/llms.txt.ts: при билда Astro ги превръща в обикновени файлове. - Пренасочванията и хедърите са от страна на хостинга. Пренасочванията от конфигурацията на Astro в статичния билд стават страници с мигновен преход, а не истински отговор 301. Истинският 301 и хедъри като
Linkсе задават с файловете на хостинга:_redirectsи_headersпри Cloudflare Pages и Netlify,vercel.jsonпри Vercel. Така е направено и тук: когато тази статия смени адреса си, старият беше затворен с ред в_redirects.
Какво да проверите най-напред?
- Кого връщат. Отворете статистиката на доставчика за ИИ роботите и вижте какви отговори получават търсещите роботи и агентите. Отговори 403, 429 или страница с проверка значат, че ги блокира някой превключвател.
- Всички места, където роботът може да бъде спрян: политиката на доставчика за ИИ, защитата от ботове, правилата на уеб файъруола (WAF), превключвателят на конструктора и самият robots.txt. Те действат независимо едно от друго и може да спре робота кое да е от тях.
- Какво променя страницата по пътя: скриването на имейл адреси, зареждачите на скриптове, страниците с проверка.
- Вашите желания, записани явно: robots.txt с ред
Content-Signal– ръчно или от доставчика. - Същото и след месец. Доставчиците променят настройките по подразбиране; Cloudflare например го направи през септември 2026 г.
Как да направим съдържанието разбираемо за ИИ?
Тук няма магия: асистентът чете страницата така, както я чете човек, само че без картинките, и вади от нея факти. Всичко, което пречи да се извади фактът, намалява шанса да ви цитират.
Нужно ли е рендиране от страна на сървъра?
Да. Много сайтове днес стигат до браузъра почти празни, а целият текст на страницата се рисува от JavaScript вече на място. Роботът на Google умее да изпълнява този код, а повечето ИИ роботи – не: така показа изследването на Vercel и MERJ (декември 2024 г.). Оттогава нещо може да се е променило, но съветът така или иначе е безопасен и евтин: нека текстът на страницата идва като готов HTML още преди да са стартирали скриптовете. Това се нарича рендиране от страна на сървъра.
Проверката е проста. Изтеглете страницата с командата curl или отворете в браузъра „Преглед на кода на страницата“ и потърсете там своя текст. Ако го няма, асистентът най-вероятно също няма да го види.
Блог на Astro, като този, и без това връща готов HTML. При онлайн магазин си струва да проверите именно продуктовата карта: цената, наличността и описанието трябва да са в изходния HTML, а не да се зареждат с отделна заявка.
Как да пишем, за да ни цитират?
Правила, които следват от това как асистентът работи с текста:
- Отговорът е в началото. Ако заглавието е въпрос, първото изречение под него трябва да отговаря на него. Подробностите и уговорките – после.
- Един раздел – една тема. Асистентът често взема не цялата страница, а фрагмент. Фрагментът трябва да е разбираем сам по себе си: не „както казахме по-горе“, а с името на предмета.
- Конкретика. Числа, дати, версии, имена, определения. Размитото „мнозина смятат“ не се цитира.
- Таблици и списъци за сравнения. Те са удобни за разбор и за асистента, и за човека.
- Свежест. Страницата трябва да има видима дата, а в маркирането (за него – по-долу) – дати на публикуване и редакция,
datePublishedиdateModified. Когато въпросът е за текущото състояние на нещата, асистентите търсят свежото.
Google добавя към това предупреждения. В същото ръководство той съветва да не се дели текстът на ситни парчета („чанкове“) специално за ИИ, да не се правят отделни страници за роботите, да не се гони llms.txt и да не се поръчват неавтентични споменавания в странични сайтове. Най-важното е оригиналният текст за хората.
Как изглежда „отговорът в началото“ на пример?
Да вземем страница за връщане на стока. Слабата версия започва така: „Ние много ценим нашите клиенти и се стараем покупките да са максимално удобни. Нашата политика за връщане е разработена с оглед на…“ Самият срок се появява едва след три абзаца. Асистентът трябва да търси факта сред любезните думи, а ако вземе само началото на страницата, изобщо няма да го намери.
Силната версия: „Стоката може да се върне в рамките на 30 дни след получаването. Доставката обратно я плащаме ние. Парите връщаме по картата в рамките на 5 работни дни, след като получим пратката“. Три кратки изречения, всяко може да се цитира отделно и във всяко има число. По-нататък може да се пишат подробности: как се оформя връщането, кои стоки не се приемат.
Същото важи и за статия в блог. Заглавие „Какво е MCP?“ и веднага под него: „MCP е отворен протокол, по който ИИ асистентът се свързва с външни услуги“. Определението е на първия ред, а не на третия екран.
Как да организираме заглавията и страниците?
- Формулирайте заглавията така, както човек задава въпрос: „Как да върна стока?“, „Колко струва доставката до Германия?“. Асистентът превръща въпроса на потребителя в заявка за търсене и заглавие-въпрос съвпада с нея по-добре от „Информация за доставката“.
- Една страница отговаря на един въпрос. Огромната страница „Всичко за нашия магазин“ е по-лоша от отделни страници за доставката, връщането и плащането.
- Всяка страница има свой адрес и свое заглавие. Частите от сайта, които се зареждат без смяна на адреса, асистентът няма да види като отделни страници.
- Свързвайте страниците с връзки по смисъл: стоката – с доставката, статията – със сродна статия. Така свързаните факти намират и хората, и роботите.
- За сравнения и характеристики използвайте таблици. Ако сравнявате планове, модели или версии, таблицата е по-ясна от абзаца.
Какво показа научното изследване за GEO?
Единствената известна ми работа, която е измервала кои похвати повишават цитируемостта, е статията „GEO: Generative Engine Optimization“ (Aggarwal и съавтори, arXiv 2311.09735, конференция KDD 2024). Авторите са взели набор от въпроси, прекарали са ги през генеративен двигател и са гледали колко по-забележим става източникът в отговора, ако текстът му се преработи по различни начини. Забележимостта е смятана в условни точки; при непроменения текст е излязло около 19,5. Основното:
- най-добрите похвати повишиха забележимостта с около 40%;
- най-полезни се оказаха цитатите от авторитетни източници (около 27,8 точки), статистиката (25,9) и връзките към източници (24,9);
- претъпкването с ключови думи, познато от старото SEO, по основната метрика намали забележимостта – до 17,8 точки, а при Perplexity с около 10%;
- връзките към източници помогнаха особено на сайтове, стоящи пети в резултатите: забележимостта им нарасна със 115,1%. А на сайтовете от първата позиция навредиха: средно минус 30,3%;
- ефектът зависи от темата: това, което работи при юридически въпроси, не е задължително да сработи при въпроси за история.
Уговорка: това е лабораторен опит от 2023 г. върху конкретни двигатели и въпроси, а не измерване на сегашния ChatGPT. Но изводът съвпада със здравия смисъл: текст с цитати, числа и източници е по-полезен за читателя и по-забележим за асистента, а механичното набиване на ключови думи вреди.
Какво още е важно: същности и езици?
Същност (entity) е конкретен обект: човек, компания, продукт. На асистента му е важно да разбере, че „Roman Kryvolapov“ на сайта, в профила в LinkedIn и в GitHub е един и същи човек. Помагат три неща: еднакво изписване на името навсякъде, страница „За мен“ с ясно описание и полето sameAs в маркирането (пример – по-долу) с връзки към профилите.
Езици. Ако сайтът е на няколко езика, всеки език трябва да има свой адрес, а не да се превключва на същия адрес. При този сайт например адресите са от вида /en/…, /uk/…, /ru/… и /bg/…. Тогава въпрос на руски води асистента към руска страница, а на английски – към английска.
Какво маркиране по schema.org е нужно?
Schema.org е речник, с помощта на който страницата съобщава за себе си на машините: „това е статия, авторът ѝ е еди-кой си, публикувана е тогава“ или „това е стока, струва толкова и има наличност“. Най-често маркирането се записва във формат JSON-LD – това е блок JSON в тага script на страницата.
За да попаднете в ИИ отговорите на Google, маркирането не е задължително. Но е нужно за разширените резултати от търсенето – карти с цена, рейтинг или дата. Microsoft, по вторични данни, смята, че маркирането помага. Едно условие Google повтаря постоянно: маркирането трябва да съвпада с това, което човекът вижда на страницата. Ако в маркирането цената е 10 евро, а на страницата 12, това е грешка, която подкопава доверието и към маркирането, и към сайта.
Какво да маркираме в блога?
Минимумът е статия и автор, свързани чрез @id. Всички факти за автора са на едно място, а всяка статия се позовава на него:
{ "@context": "https://schema.org", "@graph": [ { "@type": "Person", "@id": "https://example.com/#person", "name": "Jane Doe", "url": "https://example.com/about/", "sameAs": [ "https://github.com/example", "https://www.linkedin.com/in/example" ] }, { "@type": "BlogPosting", "headline": "How to brew sencha", "datePublished": "2026-11-11", "dateModified": "2026-11-11", "author": { "@id": "https://example.com/#person" }, "inLanguage": "en" } ]}Това е съкратена форма. Полето sameAs изброява профилите, които потвърждават, че това е един и същи човек (същата тази „същност“). Не забравяйте, че datePublished трябва да съвпада с датата, която вижда читателят, а dateModified – с реалната дата на редакцията.
Какво да маркираме в онлайн магазина?
За магазина маркирането е по-важно, отколкото за блога: върху него са построени Google Shopping и агентните покупки. Основният тип е Product с вложен Offer (предложение: цена, валута, наличност). Отделно маркирайте рейтинга, доставката и условията за връщане: именно за тях асистентите питат най-често.
Примерът по-долу е продуктова карта на чай. В него си заслужава да обърнете внимание на три места: идентификаторите sku и gtin13 (по тях стоката се съпоставя с каталозите), блока shippingDetails (цена и срок на доставката) и блока hasMerchantReturnPolicy (срок и начин на връщане).
{ "@context": "https://schema.org", "@type": "Product", "name": "Sencha green tea, 100 g", "sku": "TEA-001", "gtin13": "4006381333931", "brand": { "@type": "Brand", "name": "Example Tea" }, "image": ["https://shop.example.com/img/tea-001.jpg"], "description": "Japanese steamed green tea with a fresh grassy taste. Loose leaf, 100 g.", "aggregateRating": { "@type": "AggregateRating", "ratingValue": 4.7, "reviewCount": 128 }, "offers": { "@type": "Offer", "url": "https://shop.example.com/p/tea-001", "price": 12.5, "priceCurrency": "EUR", "availability": "https://schema.org/InStock", "itemCondition": "https://schema.org/NewCondition", "shippingDetails": { "@type": "OfferShippingDetails", "shippingRate": { "@type": "MonetaryAmount", "value": 4.9, "currency": "EUR" }, "shippingDestination": { "@type": "DefinedRegion", "addressCountry": "DE" }, "deliveryTime": { "@type": "ShippingDeliveryTime", "handlingTime": { "@type": "QuantitativeValue", "minValue": 0, "maxValue": 1, "unitCode": "DAY" }, "transitTime": { "@type": "QuantitativeValue", "minValue": 1, "maxValue": 3, "unitCode": "DAY" } } }, "hasMerchantReturnPolicy": { "@type": "MerchantReturnPolicy", "applicableCountry": "DE", "returnPolicyCategory": "https://schema.org/MerchantReturnFiniteReturnWindow", "merchantReturnDays": 30, "returnMethod": "https://schema.org/ReturnByMail", "returnFees": "https://schema.org/FreeReturn" } }}Как да го четем. handlingTime е за колко време стоката се комплектова преди изпращане (от нула до един ден), transitTime – колко пътува (от един до три дни). Заедно те дават срока на доставка. returnPolicyCategory с окончание FiniteReturnWindow означава „връщане в ограничен срок“, а самият срок е в merchantReturnDays. Цената, наличността и сроковете в маркирането са длъжни да съвпадат със страницата, затова е по-добре да се генерират от същите данни като видимия текст, а не да се водят на ръка на две места.
Ако магазинът има акаунт в Google Merchant Center, именно той е главният източник на данни за Google. Там се зарежда фийд – файл с целия каталог: стоки, цени и наличности. По него се строят Shopping и агентните покупки. Маркирането на страниците не трябва да противоречи на фийда.
llms.txt и markdown копия: работят ли?
llms.txt е идея на Джереми Хауърд, съосновател на fast.ai и Answer.AI, от септември 2024 г. (втората версия излезе през август 2026 г.). Той предложи в корена на сайта да се поставя файл във формат markdown с кратко описание на сайта и връзки към най-важното. Markdown е прост текст с лека разметка: # за заглавия, - за списъци. Идеята е да се даде на модела „съдържание“ и да му се спести разборът на HTML. Подробности има на llmstxt.org.
Честният статус е такъв. Това не е стандарт, а предложение. Google направо казва, че Google Search не го използва, и съветва да не се хаби време за него заради класирането. Никой от големите доставчици не е потвърдил, че отчита llms.txt при избора на източници. Проверката на Cloudflare „Agent Readiness“ също не го гледа.
Тогава защо е на този сайт? Защото не струва нищо, а може да е полезен за съвсем конкретни читатели: агентите за програмиране, които четат документация, и хората, които подават сайта на асистента с един файл. Не като „фактор за класиране“, а като удобен формат. Ето няколко реда от файла на този сайт (дългите редове са съкратени):
# Roman Kryvolapov
> Engineering blog: Java, Kotlin, Android, Spring, microservices, running large language models locally.
## MCP server
- [MCP endpoint](https://mcp.romankryvolapov.com/): Streamable HTTP, no authentication. Tools: `search` — full-text search over every article; …
## English
- [Claude Code Hooks](https://romankryvolapov.com/en/claude-code-hooks.md): A walkthrough of Claude Code hooks: every event, exit codes and JSON decisions, …Всяка връзка води към markdown версията на страницата. Всяка статия на сайта има такова копие на адреса на страницата с добавка .md, например /ru/ktor-manual.md. Страницата сочи копието в своя <head> с реда <link rel="alternate" type="text/markdown">. А копието се връща с хедър Link: <адрес на страницата>; rel="canonical", тоест за основна посочва самата страница, за да не сметне търсачката копието за дубликат. Има и llms-full.txt: всички статии на всички езици в един файл, около 15 МБ.
Сродна идея има при Cloudflare – Markdown for Agents (планове Pro и нагоре). Ако агентът поиска страницата с хедър Accept: text/markdown, Cloudflare в движение превръща HTML в markdown. По думите на Cloudflare такъв хедър изпращат например Claude Code и OpenCode. Това е изгодно за агента: markdown е няколко пъти по-къс от HTML, а значи е по-евтин. Една тънкост: ако сайтът не е задал свой хедър Content-Signal, Cloudflare ще добави към такъв отговор разрешение за всичко, включително обучение. На безплатния план същото може да се направи сам: малка функция от страна на CDN отговаря на такава заявка с готовото .md копие на страницата.
Накратко: llms.txt и markdown копията са удобство за агентите, а не начин да се изкачите по-високо в резултатите. Правете ги, ако е евтино, и не очаквайте чудо.
Какво да направи магазинът стъпка по стъпка?
Списъкът е подреден по възвръщаемост: първите точки са нужни на всички, последните могат да се отложат.
- Осигурете достъп на търсещите роботи. Проверете CDN и уеб файъруола (WAF): те не бива да блокират
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebotиbingbot. За да пускате истинските роботи, използвайте публикуваните списъци с техните адреси (те са посочени в раздела за защитата от ботове). - Решете за обучението. Ако не искате да давате текстовете си за обучение, добавете в robots.txt блок, както в примера по-горе.
- Проверете дали продуктовата карта връща текст без JavaScript. Цена, наличност, описание, доставка и връщане трябва да са в изходния HTML.
- Маркирайте стоките:
Product,Offer,AggregateRating,OfferShippingDetails,MerchantReturnPolicy. Стойностите трябва да съвпадат със страницата. - Заведете Google Merchant Center и фирмен профил в Google (Business Profile). Фийдът се настройва веднъж и работи веднага за няколко канала.
- Настройте измерване (следващият раздел) и се върнете към цифрите след месец.
- Ако искате агентите да купуват от вас, следват заявка в ChatGPT, готовите решения на платформата, MCP сървър и WebMCP. Всичко това е в статията за MCP и WebMCP.
Какви грешки правят най-често магазините?
- Цената и наличността се зареждат със скрипт. В изходния HTML е празно, роботът вижда продуктова карта без цена. Лекува се със сървърно рендиране или поне с маркиране с ключовите данни.
- Маркирането се разминава със страницата. В маркирането „в наличност“, на страницата „няма в наличност“. Данните трябва да се вземат от един източник.
- Няма срокове за доставка и условия за връщане нито в текста, нито в маркирането. Именно за това купувачите най-често питат асистента и магазин без отговор губи от тези, които го имат.
- Защитата от ботове блокира всички. Търсещите роботи на ИИ получават проверка или отказ и магазинът го няма в отговорите.
- Еднакви описания при десетки стоки. Описанието, копирано от производителя, не дава на асистента причина да избере именно вашата страница.
- Няма идентификатори. Артикулните номера и баркодовете (
sku,gtin) позволяват стоката да се съпостави с каталозите; без тях стоката е по-трудна за намиране и сравняване. - На отзивите се вярва без филтър. Всеки потребителски текст в отзива може да се окаже опит за внедряване на инструкция. Отзивът е данни, а не команда.
А за блог и фирмен сайт?
Тук списъкът е по-кратък:
- Индексация: карта на сайта, Search Console и Bing Webmaster Tools.
- Текстът на страниците идва като готов HTML.
- Търсещите роботи на ИИ не са блокирани нито в robots.txt, нито при доставчика.
- Статиите имат видима дата на публикуване, а разделите – отговор на първия ред.
- В текста има цитати, цифри и връзки към първоизточници.
- В маркирането има автор (
Person) с връзки към профилите (sameAs). - Измерването е настроено (за него – в следващия раздел).
Редът Content-Signal и markdown копията на страниците са по желание. А на llms.txt като фактор за класиране не си струва да хабите сили.
Как да разберем, че GEO работи?
Директен брояч на цитиранията засега има само Bing. Google показва показванията в своите ИИ отговори, а останалото се налага да се сглобява от косвени признаци.
Какво показва GA4?
В Google Analytics 4 (GA4) от май 2026 г., по вторични данни, има отделен канал „AI Assistants“. Но той не улавя всичко. Преходите от Perplexity и Claude често попадат в „Referral“ (преходи от други сайтове), от Gemini нерядко идват без адрес на източника и попадат в „Direct“, а кликовете от AI Overviews и AI Mode се броят като обикновено търсене на Google (google / organic). По-надеждно е да съберете такъв трафик сами: добавете в отчета филтър по източник на сесията с условие „съответства на регулярен израз“ и вмъкнете израза по-долу. Той улавя преходите от основните асистенти:
(www\.)?(chatgpt\.com|chat\.openai\.com|perplexity\.ai|claude\.ai|gemini\.google\.com|copilot\.microsoft\.com|chat\.mistral\.ai|chat\.deepseek\.com|grok\.com|meta\.ai)Това е оценка отдолу: преходите без адрес на източника в нея няма да попаднат. ChatGPT, по вторични данни, сам маркира своите връзки (utm_source=chatgpt.com), затова трафикът му се вижда най-добре.
Какво показват Search Console и Bing?
От юни 2026 г., по съобщение на Google, в Search Console има отчети за показванията в генеративните функции: AI Overviews, AI Mode и Discover. Виждат се само показванията, кликове там няма.
Bing има в Webmaster Tools отчета AI Performance, засега в публичен тест (блог на Bing). Той показва колко пъти са ви цитирали, кои страници, по какви заявки и в кои дни. Кликове също няма, но затова пък това е единственият отворен отчет, който директно казва: „цитират ви“. Обхваща Copilot и ИИ обобщенията в Bing.
Какво се вижда в логовете на сървъра?
Логовете показват това, което го няма в аналитиката: кой идва и колко пъти. Роботите не изпълняват скриптовете на аналитиката, но остават в журнала за достъп на сървъра. Тази команда брои посещенията на основните ИИ роботи по журнал във формат на nginx или Apache:
grep -oiE '(GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-external[a-z]+|Applebot|bingbot|Googlebot)/' access.log | tr -d / | sort | uniq -c | sort -rnКакво прави тя. grep -oiE извлича от всеки ред само името на робота с наклонената черта след него и не гледа регистъра на буквите: Meta например пише имената на своите роботи с малки букви. tr -d / премахва наклонената черта, sort и uniq -c броят колко пъти се е срещнало всяко име, а последният sort -rn подрежда най-честите най-отгоре. На тестов журнал с низове, с които се представят истинските роботи, резултатът беше такъв:
2 meta-externalagent 2 Googlebot 2 GPTBot 1 meta-externalfetcher 1 bingbot 1 PerplexityBot 1 Perplexity-User 1 OAI-SearchBot 1 ClaudeBot 1 Claude-User 1 Claude-SearchBot 1 ChatGPT-User 1 ApplebotИмето в user agent може да се подправи, затова за сериозни изводи сверявайте адресите с публикуваните списъци (за тях – в раздела за защитата от ботове). Ако сайтът е зад CDN, неговият панел показва същото и без логове: при Cloudflare това е AI Crawl Control, при Vercel – отчетът AI Traffic, при AWS – AI Activity Dashboard.
А може ли просто да попитаме самите асистенти?
Може, но внимателно. Задайте на ChatGPT, Gemini и Perplexity пет-десет въпроса, на които трябва да отговаря вашият сайт, и вижте дали ви цитират. Едно измерване не казва нищо: отговорите се менят от път на път. Повтаряйте го веднъж месечно и записвайте резултатите. За целта има и платени услуги, но принципът при тях е същият.
Какво не работи?
Кратък списък със заблуди.
- „Трябва ми llms.txt, за да се класирам в ИИ“. Не. Google казва направо, че не го използва, и нито един доставчик не е потвърдил обратното.
- „Трябва да нарежа съдържанието на чанкове и да пиша отделни страници за ИИ“. Google съветва да не се прави така.
- „Ще блокирам Google-Extended и ще изчезна от Google“. Не, тази забрана не влияе на обикновеното търсене.
- „Ще натъпча текста с ключови думи, както преди“. В изследването на GEO това не помогна, а по основната метрика дори намали забележимостта.
- „robots.txt ще защити страницата от всички асистенти“. Роботите по искане на потребителя често го игнорират. За истинска затвореност е нужен вход с парола.
- „robots.txt разрешава всичко, значи всеки робот ще мине“. Превключвател в CDN или защитата от ботове могат да върнат робота, каквото и да е написано в robots.txt.
- „Ще направя маркиране и асистентът ще купува от мен“. Маркирането е нужно, но за агентна покупка са нужни още фийд, поддържани начини на плащане и, за редица канали, заявка и одобрение.
Как е устроено на този сайт?
Този сайт е блог на Astro: статични страници в Cloudflare Pages, четири езика (английски, украински, руски и български) и по 48 статии на всеки. Всичко описано по-долу е проверено на жив сайт през ноември 2026 г.
- Текстови копия. Markdown копие има всяка статия, а също и страниците „За мен“ и политиката за поверителност – общо 200. Има
llms.txtсъс съдържание иllms-full.txtс всички статии в един файл. - Маркиране. Един граф JSON-LD: автор (
Person), сайт (WebSite), при статията –BlogPostingс дати, трохи за навигация, при „За мен“ –ProfilePage, при контактите –ContactPage. - MCP сървър и WebMCP. Сайтът има собствен MCP сървър и инструменти WebMCP за агентите в браузъра; как са устроени – в статията за MCP и WebMCP.
- Cloudflare, безплатен план. И трите политики за достъп – търсене, обучение и агенти – са на „разреши“, личните агенти също и нито един робот не е блокиран. Обучението е отворено нарочно: на блога му е изгодно моделите да знаят за него и без търсене. Bot Fight Mode е изключен: ChatGPT и Claude идват към MCP сървъра от своите облаци и той би ги отрязал. AI Labyrinth и WebMCP от Cloudflare също са изключени, сайтът има свои инструменти. За седмица ИИ роботите получиха точно един отказ.
- Какво се промени след проверката на 12 ноември. В robots.txt се появи редът
Content-Signal: search=yes, ai-input=yes, ai-train=yes. Главните страници получиха хедъриLinkс връзки към llms.txt и картата на MCP сървъра. Адресът/sitemap.xmlсега води към истинската карта на сайта. Email Address Obfuscation, същият, който разваляше примерите с код, е изключен, а Crawler Hints е включен. Agent Readiness зачита картата на MCP сървъра и WebMCP, но не и markdown по заявка: копията се намират на свои адреси, а Markdown for Agents изисква план Pro.
Обобщение
Главното от статията.
- GEO не е отделна магия, а SEO плюс управление на новите роботи. Основата е същата: индексиране, разбираем текст, честно маркиране.
- Роботите са три вида: обучаващи, търсещи и „по искане“. Търсещите си струва да се пускат, за обучаващите всеки решава сам, а от роботите „по искане“ robots.txt не защитава.
- Текстът трябва да е в HTML без JavaScript, с отговор в началото, цифри, цитати и източници.
- Измервайте: GA4, Search Console, Bing AI Performance и логовете на сървъра.
С какво да започнете – три проверки от началото на статията: настройките за ботове при доставчика, текстът на страниците без JavaScript и новите отчети на Search Console и Bing. Останалото може да се прави постепенно.