GEO: як ChatGPT, Claude і Gemini знаходять і читають сайти
Привіт!
Раніше людина ставила питання пошуковику й отримувала десять посилань. Тепер вона дедалі частіше питає ChatGPT, Gemini, Claude, Perplexity або Copilot і отримує готову відповідь. Посилань у такій відповіді два-три, а буває, що жодного. Іноді асистент іде далі: сам відкриває сайт, заповнює форму, кладе товар у кошик. Якщо сайт до цього не готовий, він випадає з відповідей або потрапляє в них із помилками.
Стаття для тих, хто веде блог, сайт компанії або інтернет-магазин і хоче зрозуміти, що з цим робити. Програмувати для цього не потрібно: код трапляється лише в кількох прикладах, і їх можна пропустити. Усередині:
- що таке GEO і чим воно відрізняється від звичайного SEO;
- як асистенти знаходять і читають сайти, які роботи приходять і як ними керувати;
- що перевірити в Cloudflare, AWS та інших CDN, у конструкторах сайтів і на Astro;
- як підготувати текст і розмітку;
- як перевірити, що все працює, і які поради не працюють;
- що з цього зроблено на цьому самому сайті.
Як асистент може не лише читати сайт, а й діяти на ньому, і як улаштовані покупки через ШІ, — у другій статті: «MCP і WebMCP: як ШІ-асистенти діють на сайтах і купують в інтернет-магазинах».
Якщо часу мало, почніть із трьох перевірок. Кожна займе кілька хвилин:
- Подивіться в панелі хостингу або CDN, чи не блокують там роботів ШІ. Де шукати — у розділі про Cloudflare та інших провайдерів.
- Переконайтеся, що текст сторінок видно без JavaScript. Як це зробити — у розділі про контент.
- Відкрийте звіти про покази у відповідях ШІ в Search Console і Bing Webmaster Tools. Про них — у розділі про вимірювання.
Усе описано станом на листопад 2026 року. Ця галузь швидко змінюється. Там, де я спираюся на переказ, а не на документацію самої компанії, так і сказано: «за даними…», «повідомлялося». Посилання на першоджерела стоять прямо в тексті.
Що таке GEO і чим воно відрізняється від SEO?
SEO (Search Engine Optimization) — робота над тим, щоб сайт знаходився в Google, Bing та інших пошуковиках. GEO (Generative Engine Optimization, «оптимізація під генеративні рушії») — робота над тим, щоб сайт знаходили, цитували й правильно переказували ШІ-асистенти. Генеративний рушій — це будь-яка система, яка не просто показує список посилань, а сама пише відповідь: AI Overviews (ШІ-зведення над результатами Google) і AI Mode (режим діалогу в Google), ChatGPT із пошуком, Perplexity, Copilot, Claude з вебпошуком.
Трапляються ще два слова: AEO (Answer Engine Optimization) і LLMO (Large Language Model Optimization). По суті це те саме. Далі я пишу лише GEO.
Головна відмінність — у результаті. У звичайному пошуку мета — потрапити на першу сторінку й отримати клік. У відповіді асистента сайт або згаданий як джерело, або ні. Клікають по таких посиланнях рідше: людина вже отримала відповідь. Тому важлива не позиція у видачі, а те, чи цитують вас і що про вас кажуть.
Водночас GEO майже цілком стоїть на звичайному SEO. Google у своєму посібнику з оптимізації під ШІ пише прямо: ШІ-функції пошуку спираються на ті самі системи ранжування й оцінки якості, що й звичайний пошук, і особливої оптимізації не потребують. Там само перелічено, що потрібно: оригінальний корисний текст, зрозумілі заголовки, зручна для перегляду подача, а магазинам — каталог у Merchant Center і профіль компанії. Офіційна позиція Google: GEO і AEO — це все те саме SEO.
І все ж окрема розмова про GEO потрібна, з двох причин.
- Роботів побільшало, і вони різні. Одні збирають тексти для навчання моделей, інші працюють як пошук, треті приходять у ту секунду, коли людина щось запитала. Поводитися з ними треба по-різному, а звичайний SEO-чекліст про це мовчить.
- З'явилися агенти, які діють. Асистент не лише читає сторінку, а й викликає функції сайту: шукає товар, перевіряє наявність, надсилає форму. Для цього з'явилися нові протоколи, MCP і WebMCP. Про них — окрема стаття.
Чому це важливо саме зараз?
Уявіть магазин чаю. Раніше покупець вводив у пошук «зелений чай сенча купити», бачив десять посилань, відкривав три з них і порівнював ціни сам. Тепер він пише асистентові: «знайди добрий зелений чай до 15 євро з доставкою до Німеччини за три дні». Асистент сам порівнює магазини й показує короткий список. Якщо на сторінці вашого магазину строк доставки не вказано так, щоб його могла прочитати машина, або робот асистента не зміг відкрити сторінку, вас у цьому списку немає. Покупець про це навіть не дізнається: він не бачив, що вас можна було обрати.
З блогом те саме. Людина питає: «як налаштувати хуки в Claude Code». Асистент читає кілька джерел, збирає відповідь і вказує, звідки що взяв. Чи потрапите ви до їхнього числа, залежить від трьох речей: чи знайшов вас пошук, чи зміг робот прочитати сторінку і чи легко знайти на ній відповідь.
У цьому й сенс GEO: не дати асистентові причини втратити вас на жодному з цих кроків. Для цього треба розуміти, як він працює. Почнімо з того, як асистенти взагалі дізнаються про сайти.
Як ШІ-асистент дізнається про сайт?
Асистент дізнається про світ двома незалежними шляхами. Їх важливо розрізняти: керувати ними доводиться по-різному.
Перший шлях — навчання. Компанія збирає величезний набір текстів, зокрема зі сторінок сайтів, і навчає на ньому модель. Модель запам'ятовує загальні закономірності й факти, але не пам'ятає адрес і не може процитувати вчорашню статтю. Нові моделі навчають раз на кілька місяців, тому те, що ви напишете сьогодні, потрапить у модель нескоро, а може, й ніколи. Роботів, які збирають тексти для навчання, називають навчальними (training crawlers).
Другий шлях — пошук і читання в момент питання. Коли асистент не впевнений у відповіді або питання потребує свіжих даних, він іде в інтернет. Тут працюють роботи двох видів:
- пошукові роботи заздалегідь обходять сайти й складають їх в індекс, як це робить звичайний пошуковик;
- роботи на запит користувача (user-initiated fetchers) приходять на сторінку в ту секунду, коли людина попросила: «прочитай це посилання» або «зазирни на сайт і розкажи».
Виходить три види гостей: навчальні роботи, пошукові й «на запит». Цілі в них різні, і вирішувати щодо кожного виду можна окремо. Пошукових майже завжди варто пускати: без них вас немає у відповідях. З навчальними вибір за вами. Багато хто закриває їм доступ, щоб не віддавати тексти безкоштовно. Інші пускають, щоб моделі знали про них і без пошуку. Цей сайт, наприклад, відкритий для всіх; чому — у розділі про те, як він влаштований.
Чиїм індексом користується кожен асистент?
Індекс — це список сторінок, за яким шукають. Звідки його бере кожен асистент:
| Асистент | Звідки бере сторінки |
|---|---|
| Google AI Overviews і AI Mode | індекс звичайного Google Search; сторінка має бути проіндексована й допущена до показу сніпетів, інших умов немає (документація Google) |
| Gemini (застосунок) | індекс Google Search; чи можна брати ваші сторінки, вирішує токен Google-Extended (про нього нижче) |
| ChatGPT з пошуком | у відповіді потрапляють сайти, відкриті для робота OAI-SearchBot (OpenAI); яку роль відіграє індекс Bing, компанія не розкриває |
| Perplexity | власний індекс, який наповнює PerplexityBot (документація) |
| Claude | вебпошук, за всіма ознаками, працює на Brave Search: Anthropic про це не оголошувала, але в березні 2025 року внесла Brave до офіційного списку підрядників, яким передає дані (Саймон Віллісон) |
| Copilot | індекс Bing (за вторинними даними) |
| Meta AI | за повідомленнями, джерела для цитування збирає робот Meta-WebIndexer |
Висновок простий. Щоб потрапити у відповіді Google, треба бути в індексі Google; у Copilot — в індексі Bing; у ChatGPT — пустити робота OAI-SearchBot. Усе це звичайна гігієна сайту: карта сайту (sitemap — файл зі списком усіх сторінок), нормальна індексація й відкритий доступ роботам.
Що відбувається, коли людина ставить питання?
Спрощено асистент із пошуком діє так:
- Вирішує, чи вистачає йому власних знань. Якщо питання про свіжі події, ціни або документацію, він іде в пошук.
- Перетворює питання на один або кілька пошукових запитів. Зазвичай вони довші й конкретніші за ті, що вводить людина.
- Отримує список сторінок з індексу.
- Читає відібрані сторінки цілком або фрагментами.
- Пише відповідь і ставить посилання на джерела, з яких узяв факти.
- Якщо людина потім просить «відкрий це посилання», приходить робот на запит користувача.
На кожному кроці сайт може випасти:
- сайту немає в індексі — він не потрапить у список на кроці 3;
- робота заблоковано — сторінку не прочитають на кроці 4;
- без JavaScript сторінка порожня — її так і прочитають, порожньою;
- відповідь захована всередині довгого тексту — її не процитують на кроці 5.
Далі розберемо кожен із цих випадків.
Що асистент робить зі сторінкою, яку прочитав?
Прочитана сторінка не потрапляє у відповідь цілком. Асистент витягує з неї потрібні факти й переказує їх. Звідси три наслідки, які корисно пам'ятати, коли пишете текст.
- Переказ може спотворити. Якщо в одному місці сторінки написано «доставка 4,9 євро», а в іншому — «безкоштовна доставка від 30 євро», і це ніде не пов'язано, асистент може обрати не те. Пишіть умову поруч із твердженням: «доставка 4,9 євро, а в разі замовлення від 30 євро — безкоштовно».
- Посилання отримує той, хто сформулював факт чітко. Якщо два сайти кажуть те саме, але один сказав це одним ясним реченням, посилання вірогідніше отримає він. Гарантії немає, але логіка зрозуміла: асистентові простіше взяти готове формулювання.
- Суперечності шкодять. Якщо сайт у різних місцях називає різні ціни, версії або дати, асистент обере навмання або взагалі відмовиться від джерела. Тримайте ціни, строки й версії в одному місці — це важливіше за будь-яку «оптимізацію».
Усе це робить сайт зручним і для людей, тож обирати між «писати для людей» і «писати для асистентів» не треба.
Які роботи приходять від ШІ і як ними керувати?
Кожен робот представляється рядком у заголовку запиту. Він називається user agent, і за ним сервер розуміє, хто прийшов. robots.txt — текстовий файл у корені сайту, де для кожного user agent написано, що йому можна. Це прохання, а не захист: сумлінні роботи його виконують, несумлінні можуть ігнорувати.
Які бувають роботи?
| Робот | Чий і навіщо | Як ставиться до robots.txt |
|---|---|---|
| GPTBot | OpenAI, збір текстів для навчання | дотримується |
| OAI-SearchBot | OpenAI, пошук ChatGPT; від нього залежить, чи потрапить сайт у відповіді | дотримується |
| ChatGPT-User | OpenAI, візит на прохання користувача | за документацією OpenAI, правила robots.txt можуть не застосовуватися |
| ClaudeBot | Anthropic, збір для навчання | дотримується |
| Claude-SearchBot | Anthropic, пошук Claude | дотримується |
| Claude-User | Anthropic, візит на прохання користувача | дотримується |
| PerplexityBot | Perplexity, індекс пошуку; для навчання базових моделей не використовується | дотримується |
| Perplexity-User | Perplexity, візит на прохання користувача | за документацією, як правило, ігнорує |
| Google-Extended | Google, дозвіл навчати Gemini на ваших сторінках і використовувати їх у відповідях Gemini | це не робот, а лише ім'я для правил у robots.txt: сторінки обходить звичайний робот Google |
| Applebot-Extended | Apple, дозвіл навчати моделі Apple | теж лише ім'я для правил; на пошук через Applebot не впливає |
| Meta-ExternalAgent | Meta, збір текстів для навчання моделей і для продуктів Meta | дотримується |
| Meta-ExternalFetcher | Meta, візит на прохання користувача | за документацією, може обходити robots.txt |
| CCBot | Common Crawl — відкритий архів інтернету, на якому навчають багато моделей | дотримується |
Головне, що видно з таблиці: роботи «на запит користувача» здебільшого не зобов'язані слухатися robots.txt. Логіка компаній зрозуміла: людина сама попросила відкрити сторінку, а це майже те саме, що відкрити її в браузері. Щоб закрити сторінку від такого візиту, потрібні вхід за паролем або захист на сервері, а не robots.txt.
Кілька уточнень:
- Google-Extended не впливає на звичайний пошук. Google пише, що цей токен «не впливає на включення в Google Search і не є сигналом ранжування». AI Overviews — частина Google Search, тому й із них він сайт не прибирає. Обмежити ШІ-зведення можна лише тими самими правилами, що й звичайні сніпети (
nosnippet,max-snippet,noindex), а вони урізають сайт і у звичайній видачі. - Anthropic дотримується директиви
Crawl-delay(пауза між запитами робота) і не обходить капчі. - Загальна заборона на навчання. Робоча група IETF, яка ухвалює стандарти інтернету, готує загальний спосіб сказати «не навчайте на моїх текстах» (AIPREF). Anthropic розуміє його чернетку з 30 жовтня 2026 року, а Google обіцяє підтримку в 2027 році. Поки стандарт не ухвалено, навчальних роботів надійніше перелічувати поіменно, як у прикладі нижче.
- Perplexity у серпні 2025 року опинився в центрі скандалу: Cloudflare звинуватив його в прихованих роботах, які видавали себе за звичайні браузери, і виключив Perplexity зі списку перевірених ботів. Урок загальний: ім'я робота підробити легко, тому надійна перевірка спирається на адреси й підписи (про них нижче).
Як у robots.txt пустити ШІ-пошук, але закрити навчання?
Приклад нижче ділить роботів на три групи. Пошукових роботів ШІ пускаємо. Збирачів текстів для навчання не пускаємо. Усіх інших, зокрема Googlebot і Bingbot, пускаємо. У блок для всіх додано ще рядок Content-Signal, про нього — одразу після прикладу.
# Пошукові роботи ШІ: нехай знаходять сайт і посилаються на нього у відповідяхUser-agent: OAI-SearchBotUser-agent: Claude-SearchBotUser-agent: PerplexityBotAllow: /
# Роботи, які збирають тексти для навчання моделей: не пускаємоUser-agent: GPTBotUser-agent: ClaudeBotUser-agent: Google-ExtendedUser-agent: Applebot-ExtendedUser-agent: Meta-ExternalAgentUser-agent: CCBotDisallow: /
# Усі інші, зокрема Googlebot і BingbotUser-agent: *Content-Signal: search=yes, ai-input=yes, ai-train=noAllow: /
Sitemap: https://example.com/sitemap.xmlЯк це читати. Кілька рядків User-agent поспіль утворюють одну групу, і правило під ними стосується всіх перелічених роботів. Робот шукає групу, де його ім'я названо точно, а якщо такої немає, бере групу *. Я перевірив цей файл стандартним розбором robots.txt у Python. Пошукові роботи ШІ отримують доступ, навчальні — ні, Googlebot проходить за групою *. Рядок Content-Signal розбір не ламає: незнайомі рядки він пропускає.
Два застереження. Перше: правила для GPTBot не стосуються ChatGPT-User і OAI-SearchBot — це окремі роботи. Друге: якщо закрити OAI-SearchBot, сайт зникне з пошуку ChatGPT. Зміни в robots.txt OpenAI підхоплює приблизно за добу.
Що таке Content Signals?
Content Signals — розширення robots.txt, яке Cloudflare запропонував у вересні 2025 року. У ньому перелічують не роботів, а те, для чого можна використовувати контент. Сигналів три:
search— будувати пошуковий індекс і показувати посилання та сніпети;ai-input— давати контент ШІ у відповідь на запит, тобто використовувати його як джерело для відповіді;ai-train— навчати й донавчати моделі.
Рядок Content-Signal: search=yes, ai-input=yes, ai-train=no означає: «у пошуку й у відповідях можна, для навчання не можна». Поки таких сайтів небагато: за даними самого Cloudflare на квітень 2026 року, сигнали оголосили близько 4% із двохсот тисяч найвідвідуваніших доменів.
Сигнал може мати й юридичну вагу. У ЄС директива про авторське право (стаття 4) дозволяє власникові заборонити автоматичний аналіз своїх текстів, якщо заборону записано в машиночитному вигляді, і такий рядок, можливо, підходить. Але це питання до юристів. Технічно сигнал залишається проханням: робот може його не дотримуватися.
Чому robots.txt недостатньо і що ще може заважати?
Буває, що robots.txt написано правильно, а робот усе одно не може прочитати сайт. Причина — у захисті від ботів. Його ставлять CDN (мережі серверів, які віддають сайт відвідувачам і заодно захищають його) на кшталт Cloudflare та Akamai, хостинги й плагіни безпеки. Якщо захист налаштовано жорстко, він не відрізняє шкідливого бота від OAI-SearchBot і не пускає обох. Ви можете про це й не знати: у robots.txt усе дозволено, а робот отримує відмову або сторінку з перевіркою «я не робот».
Як перевірити:
- Відкрийте журнал доступу (лог) сервера або панель сервісу захисту й знайдіть там потрібного робота: чи приходить він і яку відповідь отримує. Відповіді 403 («заборонено») і 429 («забагато запитів») пошуковому роботові — тривожний знак.
- Не вірте самому імені: представитися чужим ім'ям може будь-хто. OpenAI і Perplexity публікують списки адрес своїх роботів, наприклад
openai.com/searchbot.jsonіperplexity.ai/perplexitybot.json. За ними можна переконатися, що гість справжній, і внести ці адреси в дозволені в правилах захисту. - Не забудьте про роботів «на запит користувача». Якщо ви хочете, щоб асистент міг відкрити сторінку, на яку людина надіслала посилання, захист має пускати й їх. На robots.txt вони, як ми бачили, часто не дивляться, тож усе вирішують налаштування захисту.
Що обрати, залежить від сайту. Магазину й блогу, які живуть за рахунок видимості, вигідно пускати пошукових роботів і роботів на запит; щодо навчальних кожен вирішує сам. Сайту з платним або закритим контентом потрібне протилежне, і там потрібен вхід за паролем, а не прохання в robots.txt. Де шукати всі ці перемикачі в Cloudflare та інших провайдерів — у наступному розділі.
Що можна налаштувати в Cloudflare та в інших провайдерів?
Між ШІ-роботами й вашим сайтом майже завжди стоїть хтось іще: CDN, хостинг або конструктор сайтів. Їхні налаштування спрацьовують раніше за robots.txt. Вони можуть впустити робота або розвернути його на порозі, написати robots.txt за вас, змінити сторінку дорогою до читача й показати, хто приходив. Досить одного забутого перемикача, щоб сайт випав із відповідей ШІ, і на самому сайті цього не буде видно.
Нижче — стан на 12 листопада 2026 року. Найдокладніше — про Cloudflare: на ньому працює цей сайт, і я пройшов усі потрібні екрани його панелі на безкоштовному тарифі. Про інші CDN, хмари й конструктори розповідаю за їхньою документацією.
Де в Cloudflare налаштування для ШІ?
У панелі домену для них три місця:
- AI Crawl Control — окремий пункт меню: список ШІ-роботів із перемикачем блокування в кожного, статистика їхніх візитів і стан robots.txt;
- Agent Readiness — наступний пункт: перевірка, чи готовий сайт до агентів, а також Markdown for Agents і WebMCP;
- Security → Settings, група «Bot traffic»: головні політики доступу, Bot Fight Mode і AI Labyrinth.
Майже все це працює на безкоштовному тарифі; винятки названо там, де вони трапляються.
Кого Cloudflare пускає?
Головний перемикач — AI Crawler and Agent access policies (Security → Settings, фільтр «Bot traffic»). У старих інструкціях він називається «Configure AI bot policies» або «Block AI bots». Роботів у ньому розділено на три групи за тим, що вони роблять:
- Search — роботи, які індексують сайт, щоб потім відповідати на питання про нього;
- Training — збирачі текстів для навчання моделей, зокрема змішані, які служать і пошуку, і навчанню;
- Agents — ті, хто діє від імені людини просто зараз: відкривають сторінку з чату або працюють у браузері.
Для кожної групи обирають: пускати, блокувати всюди або блокувати лише на сторінках із рекламою. У Training є ще варіант Disallow. Він працює лише разом із синхронізацією robots.txt (Bot Preference Sync, про неї трохи нижче), тож вмикайте їх разом. Тоді Cloudflare запише заборону навчання в robots.txt і на додачу заблокує навчальних роботів у себе, ще до сайту. Змішаних роботів на кшталт Googlebot, Bingbot і Applebot це блокування не стосується, щоб сайт не випав зі звичайного пошуку. Одне застереження з анонсу Cloudflare: Bing поки не розуміє цю заборону в robots.txt, Microsoft обіцяє підтримку до початку 2027 року. До того часу закрити навчання для Bing можна його власним метатегом NOARCHIVE.
У групі Agents є окремий список персональних агентів — помічників, які працюють на одну конкретну людину: Claude Duet (Anthropic), dots (OpenAI), Gemini Spark (Google) і Muse (Meta). За замовчуванням вони дотримуються політики Agents, але кожному можна задати свою. Cloudflare радить їх пускати.
Перевірте цей перемикач, навіть якщо ніколи його не чіпали. У нових доменів усе дозволено. Але якщо під час підключення ви сказали, що сайт заробляє на рекламі, навчання буде заборонено, а агентів заблоковано на сторінках із рекламою. А тим, хто раніше вмикав «Block AI bots», Cloudflare у вересні 2026 року сам змінив налаштування: пошук дозволено, навчання заборонено, агентів на сторінках із рекламою блокують.
Поруч із політиками є ще три налаштування, які вирішують, хто ввійде:
- Bot Fight Mode перевіряє всіх підозрілих ботів на домені, і на безкоштовному тарифі для нього не можна зробити виняток. Якщо ви хочете, щоб до вас доходили ШІ-агенти й MCP-клієнти (про них — у статті про MCP і WebMCP), тримайте його вимкненим. На платних тарифах замість нього є Super Bot Fight Mode: там дію обирають для кожного класу ботів і можна робити винятки.
- Browser Integrity Check відсікає запити з відсутніми або підозрілими заголовками. На цьому сайті він увімкнений і не заважає: усі ШІ-роботи, яких я пробував, і навіть запит зовсім без user agent отримали сторінку.
- AI Labyrinth додає на сторінки невидимі для людей посилання з позначкою nofollow («не переходити»), які ведуть у лабіринт згенерованих сторінок. Чесні роботи за такими посиланнями не ходять, тож пастка ловить лише тих, хто правила ігнорує.
Список окремих роботів — в AI Crawl Control → Security: у кожного вказано компанію, категорію й перемикач блокування. Окрім «пустити» і «заблокувати», там є третя дія — Charge, плата за кожну сторінку (Pay per crawl). Робот, який не заплатив, отримує відповідь 402 («потрібна оплата») із ціною. Поки це закрита бета.
Як Cloudflare відрізняє справжнього робота від того, хто назвався його ім'ям? За адресами, з яких робот приходить, і за Web Bot Auth — цифровим підписом запитів. Агент підписує кожен запит своїм закритим ключем, а відкритий ключ публікує в себе на сайті. Cloudflare звіряє підпис із цим ключем. Ім'я підробити легко, а підпис без закритого ключа — не можна. З липня 2026 року Cloudflare вважає агентів із правильним підписом перевіреними ботами. Технічно це стандарт RFC 9421 із ключами Ed25519.
Що Cloudflare пише в robots.txt?
Bot Preference Sync (раніше називалася «Managed robots.txt») переносить ваші політики в robots.txt. На початок файлу вона ставить свій блок: заборону для роботів із заблокованих груп і рядок Content-Signal із поясненням. Ваші власні рядки залишаються нижче, а якщо robots.txt не було, вона його створить. Важлива деталь: блок з'являється, лише якщо хоча б одна політика щось забороняє. Якщо дозволено все, файл залишається як є, без сигналів, і рядок Content-Signal доведеться написати самому. У нових доменів синхронізацію ввімкнено, у старих її вмикають у тому самому вікні, що й політики.
Перевірити результат можна на вкладці Signals в AI Crawl Control. Там видно, чи відповідає robots.txt, чи є в ньому Content Signals і які ШІ-роботи заходили туди, куди robots.txt не пускає.
Що Cloudflare показує про ШІ-трафік?
- Overview і Metrics в AI Crawl Control: скільки запитів зробив кожен робот і кожна компанія, які відповіді вони отримали й які сторінки запитували найчастіше.
- Optimization: скільки разів сторінки забирали для відповідей, що асистенти намагалися відкрити, але не змогли, і чиї асистенти приходять частіше.
- Security → Analytics → Events: кого заблокували або перевірили і яким правилом. На безкоштовному тарифі це вибірка, але її досить, щоб знайти робота, якого розвертають.
Для прикладу — тиждень цього сайту в листопаді 2026 року. ШІ-роботи зробили близько 4000 запитів: приблизно 2500 отримали сторінку, 844 — перенаправлення, 416 — «не знайдено» і лише один — відмову. «Не знайдено» отримували переважно вгадані адреси на кшталт /sitemap.xml і запити до файлів /.env із паролями — найімовірніше, від сканерів вразливостей під чужими іменами. Найчастіше сторінки для відповідей забирав Perplexity, за ним ішли OpenAI, Apple і Anthropic.
Як Cloudflare допомагає агентам читати сайт і користуватися ним?
- Markdown for Agents (тарифи Pro і вище): Cloudflare на льоту переводить сторінку в markdown для агентів, які його просять. Докладніше — у розділі про llms.txt.
- Agent Readiness → Diagnostics перевіряє сайт приблизно за двадцятьма ознаками: від robots.txt і карти сайту до картки MCP-сервера та WebMCP. Для кожної непройденої перевірки панель пояснює, що не так, і дає готове завдання для ШІ-помічника програміста. Не все зі списку потрібне кожному сайту, а llms.txt ця перевірка не дивиться.
- WebMCP (бета): Cloudflare сам додає на сторінки готові інструменти для агентів у браузері — наприклад, відкриває їм інструменти вашого MCP-сервера. Що це таке — у статті про MCP і WebMCP. Якщо сайт реєструє такі інструменти сам, як цей, не вмикайте: агент побачить їх двічі.
- AI Search: Cloudflare індексує сайт і дає пошук по ньому разом зі своїм MCP-сервером — готова заміна власному серверу.
- Crawler Hints (Caching → Configuration, безкоштовно): коли сторінка змінюється, Cloudflare сам повідомляє про це Bing, Яндексу й іншим пошуковикам, які підтримують протокол IndexNow. Bing дізнається про нові сторінки швидше, а за індексом Bing відповідає Copilot.
Які налаштування Cloudflare тихо псують сторінки для ШІ?
Деякі налаштування нікого не блокують, але змінюють сторінку дорогою.
- Email Address Obfuscation (Security → Settings, група «Client side abuse») ховає адреси пошти від спамерів. Cloudflare замінює кожну адресу в HTML заглушкою «[email protected]», а скрипт у браузері потім повертає адресу на місце. Робот скриптів не запускає й бачить заглушку. Пастка в тому, що налаштування знаходить адреси і в прикладах коду. На цьому сайті воно було ввімкнене, і перевірка 12 листопада 2026 року знайшла по 32 заміни на кожній мові, 30 із них — у прикладах коду. Модель, яка читала таку сторінку, отримувала зламаний код. Налаштування вимкнули. Якщо на сайті немає справжніх адрес, які треба ховати, вимкніть його й ви; якщо є — виключіть сторінки з кодом окремим правилом (configuration rule).
- Rocket Loader змінює порядок завантаження скриптів. Якщо текст сторінки видно без JavaScript, роботи нічого не втрачають; якщо контент малюють скрипти, щось може зламатися.
- Under Attack mode показує перевірку всім, роботам теж. Вмикайте його лише під час справжньої атаки й не забудьте вимкнути.
Що пропонують інші CDN і хмари?
Принцип усюди один: провайдер може зупинити ШІ-робота раніше, ніж справа дійде до robots.txt, а деякі перемикачі блокують більше, ніж обіцяє їхня назва.
- Vercel. У Security → Firewall → Rules є набір правил AI Bots для ШІ-краулерів і ШІ-асистентів, з дією «записати» або «заборонити»; працює він, лише якщо його ввімкнути. Поруч — Bot Protection, перевірка JavaScript для всього, що не браузер. Перевірених ботів вона пропускає, але заборона в AI Bots сильніша.
- Netlify. Готових правил для ШІ немає: роботів блокують за іменем розширенням User Agent Blocker або власною функцією на боці CDN. Netlify сам попереджає, що робот може назватися чужим іменем.
- Fastly. AI Bot Management розрізняє ШІ-краулерів і роботів на запит, перевірених і підозрілих, і дає змогу їх блокувати, пропускати або перехоплювати.
- Akamai. Bot & Agent Control ділить ШІ-роботів на навчальних, пошукових і агентів, у кожної групи своя політика. Підписи Web Bot Auth перевіряються.
- AWS. Тут найбільша пастка. Якщо ввімкнути в AWS WAF (вебфайрволі Amazon) групу правил Bot Control і не перевести її правило CategoryAI у режим Count («тільки рахувати»), воно заблокує всіх ШІ-роботів, навіть перевірених. Винятки роблять окремим правилом після Bot Control, а агент із правильним підписом Web Bot Auth проходить повз ці правила.
- Google Cloud. У Cloud Armor правил для ШІ-роботів немає; агентами опікується Cloud Fraud Defense, наступник reCAPTCHA. У Firebase Hosting і Cloud CDN нічого подібного немає.
- Azure. Bot Manager у WAF для Front Door (тариф Premium) знає лише добрих, поганих і невідомих ботів, окремої категорії для ШІ немає. Невідомих він за замовчуванням лише записує в журнал. Але якщо невідомим ботам призначено перевірку JavaScript, ШІ-агенти на ній і зупиняться.
А якщо сайт зроблено на конструкторі?
Можливостей тут менше, зате перемикачі легше знайти.
- WordPress.com. «Prevent third-party sharing» у Settings → Reading забороняє відомих ШІ-роботів у robots.txt. Це про навчання, звичайного пошуку він не чіпає. Не плутайте його з «Discourage search engines from indexing this site»: той ховає сайт і від звичайного пошуку. На власному WordPress robots.txt і llms.txt роблять плагіни.
- Squarespace. «Block known artificial intelligence crawlers» у Settings → Crawlers за замовчуванням вимкнений. Він закриває 26 ШІ-роботів, серед них GPTBot, ClaudeBot і Google-Extended, і звичайного пошуку не чіпає. Інструмент AI Visibility показує, як часто асистенти згадують сайт.
- Wix. Окремого перемикача немає: роботів закривають у редакторі robots.txt (SEO & GEO → Tools and settings). llms.txt створюється сам на платних тарифах із підключеним доменом, а в кожного сайту, за словами Wix, є свій MCP-сервер для агентів.
- Webflow. У Site settings → SEO → Indexing є перемикачі для пошукових роботів і для ШІ-роботів, за замовчуванням обидва дозволяють доступ. Є й редактор robots.txt, у документації до якого описано рядок
Content-Signal. llms.txt завантажують файлом. - Shopify. robots.txt правлять через шаблон
robots.txt.liquid, окремого перемикача для ШІ немає. Важливіше інше — Agentic Storefronts: Shopify сам вивантажує каталог у ChatGPT, Perplexity і Copilot, кожен канал вмикається окремо. Заборона ШІ-роботів у robots.txt це вивантаження не зупиняє. Є у вітрин Shopify й інструменти WebMCP. - Tilda. robots.txt правити не можна. llms.txt і llms-full.txt можна завантажити в SEO-налаштуваннях сайту.
Що перевірити, якщо сайт на AWS?
На AWS сайт зазвичай стоїть за CloudFront — CDN від Amazon, а файли лежать у бакеті S3 або на Amplify Hosting. Сам AWS роботів не блокує, але заблокувати їх тут помилково легко. Що перевірити:
- Вебфайрвол. Якщо в AWS WAF увімкнено групу правил Bot Control, її правило CategoryAI блокує всіх ШІ-роботів, крім агентів із правильним підписом Web Bot Auth (докладніше — вище, у списку провайдерів). Переведіть це правило в режим Count або додайте після Bot Control власне правило, яке пропускає потрібних роботів за мітками.
- Сторінки в папках. CloudFront сам підставляє
index.htmlлише для кореня сайту. На адресу на кшталт/blog/post/закритий бакет S3 відповість помилкою 403, і робот побачить її замість статті. Потрібна невелика CloudFront Function, яка дописуєindex.htmlдо таких адрес. - Чесна відповідь 404. Для односторінкових застосунків часто радять віддавати на будь-які 403 і 404 головну сторінку з кодом 200. Роботам так гірше: кожна неіснуюча адреса виглядає справжньою сторінкою з тим самим текстом. Якщо сайт не односторінковий застосунок, віддавайте справжню сторінку 404.
- Службові файли. robots.txt, карта сайту й llms.txt лежать у корені й віддаються як текст або XML. Після зміни robots.txt скиньте кеш CloudFront (invalidation), інакше роботи ще довго отримуватимуть стару версію.
- Заголовки. Заголовки на кшталт
Link(посилання на llms.txt з головної) абоX-Robots-Tagу CloudFront додає політика заголовків відповіді (response headers policy). - Хто приходить. Загальну картину щодо ШІ-роботів показує AI Activity Dashboard, подробиці — журнали CloudFront і WAF.
Решта — текст у HTML, розмітка, llms.txt — від хостингу не залежить і робиться так само, як описано в цій статті.
А якщо сайт зібрано на Astro чи схожому генераторі?
Генератори статичних сайтів — Astro, Hugo, Eleventy, Next.js у режимі статичного експорту — уже віддають готовий HTML, і це головне. Решта налаштовується в проєкті один раз. На прикладі Astro, на якому зроблено цей сайт:
- Текст у HTML. Astro збирає сторінки в готовий HTML. Виняток — компоненти з
client:only: сервер їх зовсім не рендерить, і їхнього тексту робот не побачить. Важливого в них не тримайте. - Адреса сайту й карта. Укажіть
siteу конфігурації: від нього будуються повні адреси, канонічні посилання й карта сайту. Інтеграція@astrojs/sitemapкладе карту за адресою/sitemap-index.xml, а не/sitemap.xml, тому впишіть її в robots.txt. - robots.txt. Покладіть його в папку
public/або генеруйте під час збірки; у ньому рядокSitemapі, якщо треба,Content-Signal. - Мови. Кожна мова має свою адресу (в Astro є вбудована маршрутизація за мовами), а посилання на версії іншими мовами (
hreflang) виводить спільний шаблон сторінки. - Розмітка й дати. JSON-LD зручно збирати в спільному шаблоні з frontmatter статті — заголовка, автора, дат публікації та правки. Тоді розмітка завжди збігається зі сторінкою.
- llms.txt і markdown-копії. Їх можна будувати з тієї самої колекції статей невеликими ендпоінтами на кшталт
src/pages/llms.txt.ts: під час збірки Astro перетворює їх на звичайні файли. - Перенаправлення й заголовки — на боці хостингу. Перенаправлення з конфігурації Astro у статичній збірці стають сторінками з миттєвим переходом, а не справжньою відповіддю 301. Справжній 301 і заголовки на кшталт
Linkзадають файли хостингу:_redirectsі_headersу Cloudflare Pages і Netlify,vercel.jsonу Vercel. Так зроблено й тут: коли ця стаття змінила адресу, стару закрили рядком у_redirects.
Що перевірити насамперед?
- Кого розвертають. Відкрийте статистику провайдера щодо ШІ-роботів і подивіться, які відповіді отримують пошукові роботи й агенти. Відповіді 403, 429 або сторінка перевірки означають, що їх блокує якийсь перемикач.
- Усі місця, де робота можуть зупинити: політика провайдера для ШІ, захист від ботів, правила вебфайрвола (WAF), перемикач конструктора і сам robots.txt. Вони працюють незалежно, і зупинити робота може будь-який із них.
- Що змінює сторінку дорогою: приховування адрес пошти, завантажувачі скриптів, сторінки перевірки.
- Ваші побажання, записані явно: robots.txt із рядком
Content-Signal— вручну або силами провайдера. - Те саме за місяць. Провайдери змінюють налаштування за замовчуванням; Cloudflare, наприклад, зробив це у вересні 2026 року.
Як зробити контент зрозумілим для ШІ?
Тут немає магії: асистент читає сторінку так само, як людина, тільки без картинок, і витягує з неї факти. Усе, що заважає витягти факт, знижує шанс, що вас процитують.
Чи потрібен серверний рендеринг?
Так. Багато сайтів сьогодні приходять у браузер майже порожніми, а весь текст на сторінці малює JavaScript уже на місці. Робот Google вміє виконувати цей код, а більшість ШІ-роботів — ні: так показало дослідження Vercel і MERJ (грудень 2024 року). Відтоді щось могло змінитися, але порада все одно безпечна й дешева: нехай текст сторінки приходить готовим HTML, ще до запуску скриптів. Це й називають серверним рендерингом.
Перевірити просто. Завантажте сторінку командою curl або відкрийте в браузері «Переглянути код сторінки» і пошукайте там свій текст. Якщо його немає, асистент його, найімовірніше, теж не побачить.
Блог на Astro, як цей, і так віддає готовий HTML. В інтернет-магазині варто перевірити саме картку товару: ціна, наявність і опис мають бути у вихідному HTML, а не підвантажуватися окремим запитом.
Як писати, щоб цитували?
Правила, які випливають із того, як асистент працює з текстом:
- Відповідь на початку. Якщо заголовок — питання, то перше речення під ним має на нього відповідати. Подробиці й застереження — потім.
- Один розділ — одна тема. Асистент часто бере не всю сторінку, а фрагмент. Фрагмент має бути зрозумілий сам по собі: не «як ми казали вище», а з назвою предмета.
- Конкретика. Цифри, дати, версії, імена, визначення. Розпливчасте «багато хто вважає» не цитують.
- Таблиці й списки для порівнянь. Їх легко розбирати і асистентові, і людині.
- Свіжість. У сторінки має бути видима дата, а в розмітці (про неї нижче) — дати публікації й правки,
datePublishedіdateModified. Коли питання про поточний стан справ, асистенти шукають свіже.
Google додає до цього застереження. У тому самому посібнику він радить не дробити текст на дрібні шматки («чанки») спеціально для ШІ, не робити окремих сторінок для роботів, не ганятися за llms.txt і не замовляти фальшиві згадки на сторонніх майданчиках. Головне — оригінальний текст для людей.
Як виглядає «відповідь на початку» на прикладі?
Візьмемо сторінку про повернення товару. Слабка версія починається так: «Ми дуже цінуємо наших клієнтів і намагаємося зробити покупки максимально комфортними. Наша політика повернення розроблена з урахуванням…» Сам строк з'являється лише через три абзаци. Асистентові доводиться шукати факт серед ввічливих слів, а якщо він бере лише початок сторінки, то не знайде його взагалі.
Сильна версія: «Товар можна повернути протягом 30 днів після отримання. Доставку назад ми оплачуємо. Гроші повертаємо на картку протягом 5 робочих днів після того, як отримаємо посилку». Три короткі речення, кожне можна процитувати окремо, і в кожному є число. Далі можна писати подробиці: як оформити повернення, які товари не приймаються.
Те саме для статті в блозі. Заголовок «Що таке MCP?» і одразу під ним: «MCP — відкритий протокол, за яким ШІ-асистент підключається до зовнішніх сервісів». Визначення стоїть у першому рядку, а не на третьому екрані.
Як організувати заголовки й сторінки?
- Формулюйте заголовки так, як людина ставить питання: «Як повернути товар?», «Скільки коштує доставка до Німеччини?». Асистент перетворює питання користувача на пошуковий запит, і заголовок-питання збігається з ним краще, ніж «Інформація про доставку».
- Одна сторінка відповідає на одне питання. Величезна сторінка «Усе про наш магазин» гірша, ніж окремі сторінки про доставку, повернення й оплату.
- У кожної сторінки своя адреса й свій заголовок. Частини сайту, які підвантажуються без зміни адреси, асистент не побачить як окремі сторінки.
- Зв'язуйте сторінки посиланнями за змістом: товар — з доставкою, статтю — із суміжною статтею. Так пов'язані факти знаходять і люди, і роботи.
- Для порівнянь і характеристик використовуйте таблиці. Якщо ви порівнюєте тарифи, моделі або версії, таблиця зрозуміліша за абзац.
Що показало наукове дослідження GEO?
Єдина відома мені робота, яка виміряла, які прийоми підвищують цитованість, — стаття «GEO: Generative Engine Optimization» (Aggarwal зі співавторами, arXiv 2311.09735, конференція KDD 2024). Автори взяли набір питань, прогнали їх через генеративний рушій і дивилися, наскільки помітнішим у відповіді стає джерело, якщо переписати його текст різними способами. Помітність рахували в умовних балах; у незміненого тексту вийшло близько 19,5. Головне:
- найкращі прийоми підняли помітність приблизно на 40%;
- найкориснішими виявилися цитати з авторитетних джерел (близько 27,8 бала), статистика (25,9) і посилання на джерела (24,9);
- набивання ключовими словами, звичне зі старого SEO, за основною метрикою помітність знизило — до 17,8 бала, а на Perplexity приблизно на 10%;
- посилання на джерела особливо допомогли сайтам, які стояли у видачі п'ятими: їхня помітність зросла на 115,1%. А сайтам із першої позиції вони нашкодили: у середньому мінус 30,3%;
- ефект залежить від теми: що працює в юридичних питаннях, не обов'язково спрацює в питаннях про історію.
Застереження: це лабораторний дослід 2023 року на конкретних рушіях і питаннях, а не вимірювання сьогоднішнього ChatGPT. Але висновок збігається зі здоровим глуздом: текст із цитатами, числами й джерелами корисніший читачеві й помітніший асистентові, а механічне накручування ключових слів шкодить.
Що ще важливо: сутності й мови?
Сутність (entity) — це конкретний об'єкт: людина, компанія, продукт. Асистентові важливо зрозуміти, що «Roman Kryvolapov» на сайті, у профілі на LinkedIn і в GitHub — одна й та сама людина. Допомагають три речі: однакове написання імені скрізь, сторінка «Про мене» зі зрозумілим описом і поле sameAs у розмітці (приклад нижче) з посиланнями на профілі.
Мови. Якщо сайт багатомовний, кожна мова має мати свою адресу, а не перемикатися на тій самій. У цього сайту, наприклад, адреси виду /en/…, /uk/…, /ru/… і /bg/…. Тоді питання російською приводить асистента на російську сторінку, а англійською — на англійську.
Яка розмітка schema.org потрібна?
Schema.org — словник, за допомогою якого сторінка розповідає про себе машинам: «це стаття, її автор такий-то, опублікована тоді-то» або «це товар, він коштує стільки-то й є на складі». Найчастіше розмітку записують у форматі JSON-LD — це блок JSON усередині тега script на сторінці.
Щоб потрапити у ШІ-відповіді Google, розмітка не обов'язкова. Але вона потрібна для розширених результатів пошуку — карток із ціною, рейтингом або датою. Microsoft, за вторинними даними, вважає, що розмітка допомагає. Одну умову Google повторює постійно: розмітка має збігатися з тим, що людина бачить на сторінці. Якщо в розмітці ціна 10 євро, а на сторінці 12, це помилка, яка підриває довіру і до розмітки, і до сайту.
Що розмітити в блозі?
Мінімум — стаття й автор, пов'язані посиланням за @id. Усі факти про автора лежать в одному місці, а кожна стаття на нього посилається:
{ "@context": "https://schema.org", "@graph": [ { "@type": "Person", "@id": "https://example.com/#person", "name": "Jane Doe", "url": "https://example.com/about/", "sameAs": [ "https://github.com/example", "https://www.linkedin.com/in/example" ] }, { "@type": "BlogPosting", "headline": "How to brew sencha", "datePublished": "2026-11-11", "dateModified": "2026-11-11", "author": { "@id": "https://example.com/#person" }, "inLanguage": "en" } ]}Це скорочена форма. Поле sameAs перелічує профілі, які підтверджують, що це одна людина (та сама «сутність»). Пам'ятайте, що datePublished має збігатися з датою, яку бачить читач, а dateModified — зі справжньою датою правки.
Що розмітити в інтернет-магазині?
Для магазину розмітка важливіша, ніж для блогу: на ній збудовано Google Shopping і агентні покупки. Основний тип — Product із вкладеним Offer (пропозицією: ціна, валюта, наявність). Окремо розмітьте рейтинг, доставку й умови повернення: саме про них асистентів питають найчастіше.
Приклад нижче — картка чаю. У ньому варто звернути увагу на три місця: ідентифікатори sku і gtin13 (за ними товар зіставляють із каталогами), блок shippingDetails (вартість і строк доставки) і блок hasMerchantReturnPolicy (строк і спосіб повернення).
{ "@context": "https://schema.org", "@type": "Product", "name": "Sencha green tea, 100 g", "sku": "TEA-001", "gtin13": "4006381333931", "brand": { "@type": "Brand", "name": "Example Tea" }, "image": ["https://shop.example.com/img/tea-001.jpg"], "description": "Japanese steamed green tea with a fresh grassy taste. Loose leaf, 100 g.", "aggregateRating": { "@type": "AggregateRating", "ratingValue": 4.7, "reviewCount": 128 }, "offers": { "@type": "Offer", "url": "https://shop.example.com/p/tea-001", "price": 12.5, "priceCurrency": "EUR", "availability": "https://schema.org/InStock", "itemCondition": "https://schema.org/NewCondition", "shippingDetails": { "@type": "OfferShippingDetails", "shippingRate": { "@type": "MonetaryAmount", "value": 4.9, "currency": "EUR" }, "shippingDestination": { "@type": "DefinedRegion", "addressCountry": "DE" }, "deliveryTime": { "@type": "ShippingDeliveryTime", "handlingTime": { "@type": "QuantitativeValue", "minValue": 0, "maxValue": 1, "unitCode": "DAY" }, "transitTime": { "@type": "QuantitativeValue", "minValue": 1, "maxValue": 3, "unitCode": "DAY" } } }, "hasMerchantReturnPolicy": { "@type": "MerchantReturnPolicy", "applicableCountry": "DE", "returnPolicyCategory": "https://schema.org/MerchantReturnFiniteReturnWindow", "merchantReturnDays": 30, "returnMethod": "https://schema.org/ReturnByMail", "returnFees": "https://schema.org/FreeReturn" } }}Як це читати. handlingTime — скільки товар збирають перед відправленням (від нуля до одного дня), transitTime — скільки він їде (від одного до трьох днів). Разом вони дають строк доставки. returnPolicyCategory із закінченням FiniteReturnWindow означає «повернення в обмежений строк», а сам строк — у merchantReturnDays. Ціна, наявність і строки в розмітці мають збігатися зі сторінкою, тому їх краще генерувати з тих самих даних, що й видимий текст, а не вести вручну в двох місцях.
Якщо в магазину є акаунт у Google Merchant Center, саме він — головне джерело даних для Google. Туди завантажують фід — файл з усім каталогом: товарами, цінами й наявністю. За ним будуються Shopping і агентні покупки. Розмітка на сторінках не повинна суперечити фіду.
llms.txt і markdown-копії: чи працюють вони?
llms.txt — ідея Джеремі Говарда, співзасновника fast.ai і Answer.AI, від вересня 2024 року (друга версія вийшла в серпні 2026-го). Він запропонував класти в корінь сайту файл у форматі markdown зі стислим описом сайту й посиланнями на найважливіше. Markdown — це простий текст із легкою розміткою: # для заголовків, - для списків. Ідея в тому, щоб дати моделі «зміст» і позбавити її розбору HTML. Подробиці — на llmstxt.org.
Чесний статус такий. Це не стандарт, а пропозиція. Google прямо каже, що Google Search його не використовує, і радить не витрачати на нього час заради ранжування. Жоден із великих вендорів не підтвердив, що враховує llms.txt під час вибору джерел. Перевірка Cloudflare «Agent Readiness» його теж не дивиться.
Тоді навіщо він на цьому сайті? Бо він нічого не коштує, а згодитися може цілком конкретним читачам: агентам для програмування, які читають документацію, і людям, які згодовують сайт асистентові одним файлом. Не як «фактор ранжування», а як зручний формат. Ось кілька рядків із файлу цього сайту (довгі рядки скорочено):
# Roman Kryvolapov
> Engineering blog: Java, Kotlin, Android, Spring, microservices, running large language models locally.
## MCP server
- [MCP endpoint](https://mcp.romankryvolapov.com/): Streamable HTTP, no authentication. Tools: `search` — full-text search over every article; …
## English
- [Claude Code Hooks](https://romankryvolapov.com/en/claude-code-hooks.md): A walkthrough of Claude Code hooks: every event, exit codes and JSON decisions, …Кожне посилання веде на markdown-версію сторінки. У кожної статті сайту є така копія за тією самою адресою з додатком .md, наприклад /ru/ktor-manual.md. Сторінка вказує на копію у своєму <head> рядком <link rel="alternate" type="text/markdown">. А копія віддається із заголовком Link: <адреса сторінки>; rel="canonical", тобто називає основною саму сторінку, щоб пошуковик не вважав копію дублем. Є й llms-full.txt: усі статті всіма мовами одним файлом, близько 15 МБ.
Схожа ідея є в Cloudflare — Markdown for Agents (тарифи Pro і вище). Якщо агент просить сторінку заголовком Accept: text/markdown, Cloudflare на льоту переводить HTML у markdown. За словами Cloudflare, такий заголовок надсилають, наприклад, Claude Code і OpenCode. Агентові це вигідно: markdown у кілька разів коротший за HTML, а отже, дешевший. Одна тонкість: якщо сайт не задав свій заголовок Content-Signal, Cloudflare додасть до такої відповіді дозвіл на все, зокрема на навчання. На безкоштовному тарифі те саме можна зробити самому: невелика функція на боці CDN відповідає на такий запит готовою .md-копією сторінки.
Підсумок: llms.txt і markdown-копії — це зручність для агентів, а не спосіб піднятися у видачі. Робіть їх, якщо це дешево, і не чекайте дива.
Що зробити магазину за кроками?
Список упорядковано за віддачею: перші пункти потрібні всім, останні можна відкласти.
- Відкрийте доступ пошуковим роботам. Перевірте CDN і вебфайрвол (WAF): вони не повинні блокувати
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebotіbingbot. Щоб пропускати справжніх роботів, використовуйте опубліковані списки їхніх адрес (їх наведено в розділі про захист від ботів). - Вирішіть щодо навчання. Якщо не хочете віддавати тексти на навчання, додайте в robots.txt блок, як у прикладі вище.
- Перевірте, що картка товару віддає текст без JavaScript. Ціна, наявність, опис, доставка й повернення мають бути у вихідному HTML.
- Розмітьте товари:
Product,Offer,AggregateRating,OfferShippingDetails,MerchantReturnPolicy. Значення мають збігатися зі сторінкою. - Заведіть Google Merchant Center і профіль компанії в Google (Business Profile). Фід налаштовується один раз і працює відразу на кілька каналів.
- Налаштуйте вимірювання (наступний розділ) і поверніться до цифр через місяць.
- Якщо хочете, щоб агенти купували у вас, далі йдуть заявка в ChatGPT, готові рішення платформи, MCP-сервер і WebMCP. Усе це — у статті про MCP і WebMCP.
Які помилки магазини роблять найчастіше?
- Ціна й наявність підвантажуються скриптом. У вихідному HTML порожньо, робот бачить картку без ціни. Лікується серверним рендерингом або хоча б розміткою з ключовими даними.
- Розмітка розходиться зі сторінкою. У розмітці «в наявності», на сторінці «немає в наявності». Дані мають братися з одного джерела.
- Немає строків доставки й умов повернення ні в тексті, ні в розмітці. Саме про це покупці найчастіше питають асистента, і магазин без відповіді програє тим, у кого вона є.
- Захист від ботів блокує всіх. Пошукові роботи ШІ отримують перевірку або відмову, і магазину у відповідях немає.
- Однакові описи в десятків товарів. Опис, скопійований у виробника, не дає асистентові причини обрати саме вашу сторінку.
- Немає ідентифікаторів. Артикули й штрихкоди (
sku,gtin) дають змогу зіставити товар із каталогами; без них товар важче знайти й порівняти. - Відгукам довіряють без фільтра. Будь-який текст користувача у відгуку може виявитися спробою впровадити інструкцію. Відгук — це дані, а не команда.
А для блогу й сайту компанії?
Тут список коротший:
- Індексація: карта сайту, Search Console і Bing Webmaster Tools.
- Текст сторінок приходить готовим HTML.
- Пошукові роботи ШІ не заблоковано ні в robots.txt, ні в провайдера.
- У статей є видима дата публікації, а в розділів — відповідь у першому рядку.
- У тексті є цитати, цифри й посилання на першоджерела.
- У розмітці є автор (
Person) із посиланнями на профілі (sameAs). - Вимірювання налаштовано (про нього — наступний розділ).
Рядок Content-Signal і markdown-копії сторінок — за бажанням. А ось на llms.txt як на фактор ранжування сили витрачати не варто.
Як зрозуміти, що GEO працює?
Прямий лічильник цитувань поки є лише в Bing. Google показує покази у своїх ШІ-відповідях, а решту доводиться збирати за непрямими ознаками.
Що показує GA4?
У Google Analytics 4 (GA4) з травня 2026 року, за вторинними даними, є окремий канал трафіку «AI Assistants». Але він ловить не все. Переходи з Perplexity і Claude часто потрапляють у «Referral» (переходи з інших сайтів), із Gemini нерідко приходять без адреси джерела й потрапляють у «Direct», а кліки з AI Overviews і AI Mode рахуються як звичайний пошук Google (google / organic). Надійніше зібрати такий трафік самому: додайте у звіт фільтр за джерелом сеансу з умовою «відповідає регулярному виразу» й вставте вираз нижче. Він ловить переходи від основних асистентів:
(www\.)?(chatgpt\.com|chat\.openai\.com|perplexity\.ai|claude\.ai|gemini\.google\.com|copilot\.microsoft\.com|chat\.mistral\.ai|chat\.deepseek\.com|grok\.com|meta\.ai)Це оцінка знизу: переходи без адреси джерела в неї не потраплять. ChatGPT, за вторинними даними, сам позначає свої посилання (utm_source=chatgpt.com), тому його трафік видно найкраще.
Що показують Search Console і Bing?
З червня 2026 року, за повідомленням Google, у Search Console є звіти про покази в генеративних функціях: AI Overviews, AI Mode і Discover. Видно лише покази, кліків там немає.
У Bing у Webmaster Tools є звіт AI Performance, поки в публічному тестуванні (блог Bing). Він показує, скільки разів вас процитували, які сторінки, за якими запитами й у які дні. Кліків теж немає, зате це єдиний відкритий звіт, який прямо каже: «вас цитують». Він охоплює Copilot і ШІ-зведення в Bing.
Що видно в логах сервера?
Логи показують те, чого немає в аналітиці: хто приходить і скільки разів. Роботи не запускають скрипти аналітики, але залишаються в журналі доступу сервера. Ця команда рахує візити основних ШІ-роботів за журналом у форматі nginx або Apache:
grep -oiE '(GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-external[a-z]+|Applebot|bingbot|Googlebot)/' access.log | tr -d / | sort | uniq -c | sort -rnЩо вона робить. grep -oiE витягує з кожного рядка лише ім'я робота з косою рискою після нього й не зважає на регістр літер: Meta, наприклад, пише імена своїх роботів малими літерами. tr -d / прибирає косу риску, sort і uniq -c рахують, скільки разів трапилося кожне ім'я, а останній sort -rn ставить найчастіші нагору. На тестовому журналі з рядками, якими представляються справжні роботи, результат був такий:
2 meta-externalagent 2 Googlebot 2 GPTBot 1 meta-externalfetcher 1 bingbot 1 PerplexityBot 1 Perplexity-User 1 OAI-SearchBot 1 ClaudeBot 1 Claude-User 1 Claude-SearchBot 1 ChatGPT-User 1 ApplebotІм'я в user agent можна підробити, тому для серйозних висновків звіряйте адреси з опублікованими списками (про них — у розділі про захист від ботів). Якщо сайт стоїть за CDN, його панель покаже те саме й без логів: у Cloudflare це AI Crawl Control, у Vercel — звіт AI Traffic, в AWS — AI Activity Dashboard.
А можна просто спитати в самих асистентів?
Можна, але обережно. Поставте ChatGPT, Gemini і Perplexity п'ять-десять питань, на які має відповідати ваш сайт, і подивіться, чи цитують вас. Один замір нічого не каже: відповіді змінюються від разу до разу. Повторюйте раз на місяць і записуйте результати. Для цього є й платні сервіси, але принцип у них той самий.
Що не працює?
Короткий список помилкових уявлень.
- «Потрібен llms.txt, щоб ранжуватися в ШІ». Ні. Google прямо каже, що не використовує його, і жоден вендор не підтвердив протилежного.
- «Треба нарізати контент на чанки й писати окремі сторінки для ШІ». Google радить цього не робити.
- «Заблокую Google-Extended і зникну з Google». Ні, ця заборона на звичайний пошук не впливає.
- «Наб'ю текст ключовими словами, як раніше». У дослідженні GEO це не допомогло, а за основною метрикою навіть знизило помітність.
- «robots.txt захистить сторінку від усіх асистентів». Роботи на запит користувача часто його ігнорують. Для справжньої закритості потрібен вхід за паролем.
- «robots.txt усе дозволяє, отже, будь-який робот пройде». Перемикач у CDN або захист від ботів можуть розвернути робота, що б не було написано в robots.txt.
- «Зроблю розмітку, і асистент купить у мене». Розмітка потрібна, але для агентної купівлі потрібні ще фід, підтримувані способи оплати і, для низки каналів, заявка та схвалення.
Як це влаштовано на цьому сайті?
Цей сайт — блог на Astro: статичні сторінки на Cloudflare Pages, чотири мови (англійська, українська, російська й болгарська) і по 48 статей кожною. Усе, що описано нижче, перевірено на живому сайті в листопаді 2026 року.
- Текстові копії. Markdown-копія є в кожної статті, а також у сторінок «Про мене» і політики конфіденційності — усього 200. Є
llms.txtзі змістом іllms-full.txtз усіма статтями одним файлом. - Розмітка. Один граф JSON-LD: автор (
Person), сайт (WebSite), у статті —BlogPostingз датами, хлібні крихти, у сторінки «Про мене» —ProfilePage, у контактів —ContactPage. - MCP-сервер і WebMCP. Сайт має власний MCP-сервер та інструменти WebMCP для агентів у браузері; як вони влаштовані — у статті про MCP і WebMCP.
- Cloudflare, безкоштовний тариф. Усі три політики доступу — пошук, навчання й агенти — стоять на «дозволити», персональні агенти теж, і жодного робота не заблоковано. Навчання відкрите навмисно: блогові вигідно, щоб моделі знали про нього й без пошуку. Bot Fight Mode вимкнено: ChatGPT і Claude приходять до MCP-сервера зі своїх хмар, і він відрізав би їх. AI Labyrinth і WebMCP від Cloudflare теж вимкнено, у сайту свої інструменти. За тиждень ШІ-роботи отримали рівно одну відмову.
- Що змінилося після перевірки 12 листопада. У robots.txt з'явився рядок
Content-Signal: search=yes, ai-input=yes, ai-train=yes. Головні сторінки отримали заголовкиLinkз посиланнями на llms.txt і картку MCP-сервера. Адреса/sitemap.xmlтепер веде на справжню карту сайту. Email Address Obfuscation, той самий, що псував приклади коду, вимкнено, а Crawler Hints увімкнено. Agent Readiness зараховує картку MCP-сервера і WebMCP, але не markdown на запит: копії лежать за своїми адресами, а Markdown for Agents вимагає тарифу Pro.
Підсумки
Головне зі статті.
- GEO — не окрема магія, а SEO плюс керування новими роботами. Основа та сама: індексація, зрозумілий текст, чесна розмітка.
- Роботи бувають трьох видів: навчальні, пошукові й «на запит». Пошукових варто пускати, щодо навчальних кожен вирішує сам, а від роботів «на запит» robots.txt не захистить.
- Текст має бути в HTML без JavaScript, з відповіддю на початку, цифрами, цитатами й джерелами.
- Вимірюйте: GA4, Search Console, Bing AI Performance і логи сервера.
З чого почати — три перевірки з початку статті: налаштування ботів у провайдера, текст сторінок без JavaScript і нові звіти Search Console та Bing. Решту можна робити поступово.