Roboții AI îți vizitează site-ul: 9 pași ca să fii citit corect

Până de curând, drumul unui client către site-ul tău era simplu: căuta pe Google, vedea o listă de rezultate și dădea click. Drumul acesta există încă, dar alături de el a apărut unul nou. Tot mai mulți oameni nu mai caută, ci întreabă: „Ce firmă face mentenanță de site-uri în Oradea?”, „Unde găsesc pecorino bun online?”, „Ce cabinet de stomatologie din Stuttgart vorbește românește?”. Iar răspunsul vine de la un asistent AI: ChatGPT, Claude, Perplexity, Gemini sau Copilot.

Ca să poată răspunde, asistenții aceștia trimit roboți care citesc site-urile. Dacă te uiți în logurile serverului tău, aproape sigur îi vei găsi deja acolo, cu nume precum ClaudeBot, GPTBot sau PerplexityBot. Întrebarea nu mai e dacă vin, ci ce găsesc când ajung: un site clar, deschis și ușor de înțeles, sau o ușă închisă, un text ascuns în animații și un server care se sufocă la primul val de vizite.

În acest ghid vedem, pas cu pas, cum îți pregătești site-ul pentru vizita roboților AI. Fără jargon inutil, cu exemple concrete și cu deciziile pe care trebuie să le iei tu, ca proprietar.

Cine sunt, de fapt, roboții AI

„Roboții AI” nu sunt o singură categorie. În funcție de ce fac, îi poți împărți în trei tipuri, iar diferența contează, pentru că le poți trata separat.

1. Roboții care strâng date pentru antrenare

Aceștia citesc pagini publice ca să adune texte cu care companiile își antrenează modelele de inteligență artificială. Nu aduc trafic direct și nu te citează într-un răspuns anume. Conținutul tău devine, în mod difuz, parte din ce „știe” modelul.

2. Roboții care indexează pentru căutare

Funcționează asemănător cu robotul Google: citesc site-urile și construiesc un index din care asistentul AI poate scoate rapid informații când cineva pune o întrebare. Aceștia sunt cei care pot face ca site-ul tău să fie citat și recomandat, adesea cu link.

3. Roboții care vin la cererea unui utilizator

Când cineva îi cere asistentului „citește pagina asta” sau „verifică ce servicii are firma X”, asistentul trimite pe loc un robot să deschidă pagina. E, practic, un vizitator uman care folosește un intermediar.

Numele principalilor roboți

Companie	Antrenare	Căutare și indexare	La cererea utilizatorului
Anthropic (Claude)	ClaudeBot	Claude-SearchBot	Claude-User
OpenAI (ChatGPT)	GPTBot	OAI-SearchBot	ChatGPT-User
Perplexity	n/a	PerplexityBot	Perplexity-User
Google (Gemini)	Google-Extended*	Googlebot	n/a
Apple	Applebot-Extended*	Applebot	n/a

* Google-Extended și Applebot-Extended nu sunt roboți separați, ci „etichete” pe care le folosești în fișierul robots.txt ca să spui dacă permiți folosirea conținutului pentru modelele AI ale acestor companii. Numele și regulile se pot schimba, așa că merită verificată periodic documentația oficială a fiecărei companii.

Pe lângă aceștia, vei mai întâlni în loguri și alți roboți legați de AI, de exemplu cei ai unor arhive publice de pagini web folosite la antrenarea multor modele sau cei ai marilor platforme sociale și de comerț.

De ce contează pentru o firmă

Pentru o firmă de servicii sau un magazin online, roboții AI înseamnă trei lucruri:

• Vizibilitate într-un canal nou. Dacă un asistent AI recomandă trei firme la întrebarea unui client și tu nu ești printre ele, ai pierdut acel client fără să știi măcar că a existat.
• Corectitudinea informațiilor despre tine. Asistenții răspund cu ce găsesc. Dacă site-ul tău nu spune clar ce faci, unde lucrezi și cât costă, răspunsul despre tine poate fi incomplet sau greșit.
• Costuri și resurse. Unii roboți vin în valuri și pot încărca serverul. Merită primiți, dar cu reguli.

Pasul 1: verifică dacă nu-i blochezi din greșeală

Surprinzător de multe site-uri își închid singure ușa în fața roboților AI, de cele mai multe ori fără să știe.

Fișierul robots.txt

Deschide în browser site-ul-tau.ro/robots.txt. E un fișier text simplu, care le spune roboților ce au voie să citească. Caută numele din tabelul de mai sus. Dacă vezi ceva de genul:

User-agent: GPTBot
Disallow: /

înseamnă că robotul respectiv nu are voie să citească nimic de pe site. Uneori astfel de reguli au fost adăugate de un plugin de SEO sau de securitate, de o temă sau de cineva care a citit, la un moment dat, că „e bine să blochezi AI-ul”.

Atenție și la regula generală:

User-agent: *
Disallow: /

Aceasta blochează toți roboții, inclusiv Google. Apare uneori pe site-uri care au fost în construcție și la care cineva a uitat să scoată blocarea după lansare.

Firewall-ul, CDN-ul și hostingul

Chiar dacă robots.txt e în regulă, roboții pot fi opriți mai devreme:

• CDN-ul. Unele servicii CDN au o opțiune de tip „blochează roboții AI”, iar pentru domeniile noi poate fi activată chiar implicit. Caută în panou setări cu denumiri precum „AI bots”, „AI crawlers” sau „Bot management”.
• Firewall-ul aplicației (WAF) sau pluginul de securitate. Unele reguli blochează orice vizitator automat care nu e Google sau Bing.
• Hostingul. Unele firme de găzduire blochează la nivel de server roboții care consumă multe resurse.

Cum verifici concret

Cel mai sigur e să te uiți în logurile de acces ale serverului (sau să-l rogi pe cel care se ocupă de site). Caută numele roboților din tabel și codul de răspuns primit:

• 200: robotul a primit pagina. E în regulă.
• 403: robotul a fost blocat.
• 429: robotul a fost limitat pentru că a venit prea des.

Dacă vezi mult 403 pentru roboții pe care îi vrei, ceva îi blochează.

Pasul 2: decide conștient ce permiți

Nu există o variantă corectă pentru toată lumea. Există însă o decizie pe care merită s-o iei tu, nu un plugin, în locul tău.

Varianta 1: totul deschis

Permiți toți roboții AI, inclusiv pe cei de antrenare. Potrivită pentru majoritatea firmelor de servicii, a magazinelor online și a site-urilor care vor cât mai multă vizibilitate. Conținutul tău, de obicei texte despre servicii și produse, nu e un secret, iar faptul că modelele „știu” despre tine poate ajuta.

Varianta 2: căutare da, antrenare nu

Permiți roboții care indexează și pe cei care vin la cererea utilizatorilor, dar îi blochezi pe cei de antrenare. Potrivită pentru site-urile care produc conținut original valoros (articole, ghiduri, cercetări) și nu vor ca acesta să fie folosit gratuit la antrenare, dar vor totuși să fie citate. Un exemplu de robots.txt:

# Antrenare: nu
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Căutare și cereri ale utilizatorilor: da
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

Un detaliu important despre Google: eticheta Google-Extended controlează folosirea conținutului pentru modelele AI ale companiei, dar nu afectează poziția ta în căutarea Google obișnuită. Rezumatele generate cu AI care apar direct în paginile de rezultate Google folosesc însă robotul obișnuit, Googlebot, pe care nu vrei să-l blochezi.

Varianta 3: totul închis

Blochezi toți roboții AI. Are sens rar: pentru conținut cu acces plătit, documente interne publicate din greșeală sau când ai motive juridice clare. Prețul e că, practic, dispari din răspunsurile asistenților AI.

O precizare onestă

Fișierul robots.txt e o rugăminte, nu un zid. Roboții marilor companii declară că îl respectă. Roboții rău intenționați îl ignoră. Dacă ai nevoie de protecție reală pentru anumite pagini, aceasta se face prin parolă sau prin reguli de firewall, nu prin robots.txt.

Pasul 3: pune textul în pagină, unde poate fi citit

Un robot nu „vede” site-ul ca un om. Citește codul paginii. Iar o parte din ce vede un om s-ar putea să nu existe deloc pentru robot.

Probleme frecvente:

• Text în imagini. Bannerul cu „Livrare gratuită în toată țara” scris pe imagine e invizibil pentru un robot care citește text.
• Conținut încărcat doar prin JavaScript. Unele site-uri afișează textul abia după ce un script rulează în browser. Robotul Google știe, în general, să ruleze aceste scripturi. Mulți roboți AI fie nu le rulează deloc, fie le rulează limitat.
• Informații ascunse în slidere, tab-uri și ferestre care apar la click. Uneori sunt citite, alteori nu, în funcție de cum sunt construite.
• Prețuri și detalii doar în PDF-uri. Unii asistenți citesc PDF-uri, alții nu. Informațiile importante merită puse și în pagină.

Un test simplu: deschide o pagină importantă, apasă click dreapta și alege „Vizualizează sursa paginii” (sau apasă Ctrl+U). Caută în acel cod textul principal al paginii: descrierea serviciului, prețul, numărul de telefon. Dacă îl găsești acolo, e foarte probabil ca roboții să-l poată citi. Dacă nu-l găsești, ai o problemă de rezolvat.

Pasul 4: scrie pentru răspunsuri, nu doar pentru vitrină

Asistenții AI caută răspunsuri la întrebări. Site-urile care răspund clar la întrebări au cele mai mari șanse să fie citate. Câteva principii:

Spune explicit lucrurile „evidente”

Ce e evident pentru tine nu e evident pentru un robot. Scrie clar, în text:

• ce faci, în propoziții simple: „Facem mentenanță și securitate pentru site-uri WordPress și magazine online”;
• unde lucrezi: orașul, zona sau „în toată țara, online”;
• pentru cine: „pentru firme de servicii, magazine online și cabinete medicale”;
• cât costă, măcar orientativ: „pachete de la … lei pe lună”;
• cum te contactează cineva: telefon, e-mail, program.

Folosește întrebările ca titluri

O secțiune intitulată „Cât costă mentenanța unui site?”, urmată imediat de un răspuns concret, e ideală pentru un asistent AI, care primește exact întrebarea aceasta de la utilizatori.

Răspunde din prima frază

Pune răspunsul direct la începutul secțiunii, apoi detaliile. Un robot care citește în grabă trebuie să găsească esențialul imediat.

Evită textul de umplutură

Frazele de tipul „suntem o echipă dinamică și pasionată, orientată spre excelență” nu spun nimic nici oamenilor, nici roboților. O frază concretă, ca „răspundem în maximum o oră în zilele lucrătoare”, valorează mai mult decât un paragraf de laude generale.

Păstrează informațiile consecvente

Numele firmei, adresa și telefonul ar trebui să fie identice pe site, pe profilul de Google Business, pe LinkedIn și în alte locuri unde apari. Asistenții AI combină informații din mai multe surse. Dacă sursele se contrazic, încrederea în ele scade.

Pasul 5: adaugă date structurate

Datele structurate sunt o bucată de cod ascunsă în pagină, invizibilă pentru vizitatori, care descrie conținutul într-un format standard: „aceasta e o firmă, numele ei este X, adresa este Y, programul este Z”, „acesta e un produs, prețul este W”.

Motoarele de căutare le folosesc de ani buni. Pentru asistenții AI, felul în care le folosesc diferă de la o companie la alta și nu e întotdeauna documentat public. Dar faptul că informațiile tale sunt descrise clar, într-un format pe care mașinile îl înțeleg, nu poate decât să ajute.

Cele mai utile tipuri pentru o firmă:

• Organization sau LocalBusiness: date despre firmă, adresă, program, contact;
• Product: pentru produsele unui magazin online, cu preț și disponibilitate;
• FAQPage: pentru paginile cu întrebări și răspunsuri;
• Article: pentru articolele de blog, cu autor și dată.

Pe WordPress, majoritatea pluginurilor de SEO generează automat o parte dintre ele. Merită verificat ce generează la tine și dacă informațiile sunt corecte.

Pasul 6: adaugă un fișier llms.txt

llms.txt e un fișier text simplu, pus în rădăcina site-ului (site-ul-tau.ro/llms.txt), care le prezintă asistenților AI, într-un format ușor de citit, ce face site-ul și care sunt paginile cele mai importante. Seamănă cu un cuprins scris special pentru ei.

Un exemplu foarte simplu:

# Firma Exemplu

> Mentenanță și securitate pentru site-uri, pentru firme din România.

## Servicii
- [Pachete de mentenanță](https://site-ul-tau.ro/pachete/): prețuri și ce include fiecare pachet
- [Devirusare site](https://site-ul-tau.ro/devirusare/): curățare malware în aceeași zi

## Contact
- [Contact](https://site-ul-tau.ro/contact/): telefon, e-mail, program

E un standard propus relativ recent și nu toate companiile de AI declară public că îl folosesc. Dar e simplu de creat, nu costă nimic și nu are niciun dezavantaj. Am explicat totul pas cu pas în ghidul complet despre llms.txt.

Pasul 7: construiește încredere, pe site și în afara lui

Asistenții AI nu recomandă doar pe baza a ce scrie pe site-ul tău, ci și pe baza a ce se spune despre tine în alte părți.

• Autor și dată pe articole. Un articol semnat de o persoană reală, cu data publicării și a ultimei actualizări, e mai credibil decât un text anonim, nedatat.
• Pagina „Despre noi” reală. Cine sunteți, de când lucrați, ce experiență aveți. Fără superlative goale.
• Recenzii. Recenziile de pe Google și de pe alte platforme sunt citite și ele.
• Mențiuni externe. Articole despre tine, interviuri, participări la evenimente, profiluri profesionale actualizate. Am scris despre un exemplu concret în articolul LinkedIn, a doua cea mai citată sursă în răspunsurile AI.

Pasul 8: ține serverul în formă

Roboții AI pot veni în valuri: sute sau mii de pagini citite în câteva minute. Pe un site rapid, cu cache, nu se simte nimic. Pe o găzduire limitată, valul poate încetini site-ul pentru clienții reali.

Ce poți face:

• Cache pentru pagini. Paginile servite din cache consumă foarte puține resurse, indiferent cine le cere. Detalii în articolul Cache WordPress explicat simplu.
• Limitare, nu blocare. Dacă un robot vine prea des, e mai bine să-i limitezi ritmul din firewall sau de pe server decât să-l blochezi complet.
• Sitemap la zi. Un sitemap actualizat îi ajută pe roboți să găsească direct paginile importante, fără să le caute la întâmplare.
• Pagini inutile scoase din drum. Rezultatele căutării interne, filtrele cu mii de combinații din magazine și paginile de test nu au ce căuta în fața roboților. Le poți exclude din robots.txt.

O notă despre directiva Crawl-delay din robots.txt: nu e un standard oficial. Unii roboți o respectă, alții o ignoră, inclusiv Google. Nu te baza doar pe ea.

Pasul 9: măsoară ce se întâmplă

Ca la orice canal nou, merită să vezi dacă eforturile au efect.

• Logurile serverului. Arată ce roboți AI vin, cât de des și ce pagini citesc.
• Statisticile site-ului. În instrumentul de analiză, uită-te la sursele de trafic. Vizitele venite din asistenți AI apar adesea cu sursa chatgpt.com, perplexity.ai, claude.ai sau copilot.microsoft.com. Nu toate sunt raportate corect, dar tendința se vede.
• Testul direct. Întreabă tu asistenții: „Ce firme fac [serviciul tău] în [orașul tău]?”, „Ce știi despre [firma ta]?”. Notează ce răspund și repetă testul peste o lună. E cel mai simplu și mai grăitor indicator.

Greșelile pe care le vedem cel mai des

1. Blocarea totală, din reflex. „Am citit că AI-ul fură conținut”, așa că toți roboții AI sunt blocați, inclusiv cei care ar aduce clienți.
2. Blocarea accidentală. O setare din CDN sau din pluginul de securitate, activată fără ca nimeni să știe.
3. Site-ul fără text. Imagini frumoase, animații, puține cuvinte. Pentru un robot, aproape o pagină goală.
4. Informații contradictorii. Alt telefon pe site, alt program pe Google, altă adresă pe LinkedIn.
5. Paginile importante uitate. Prețurile, serviciile și zona deservită lipsesc sau sunt îngropate în pagini greu de găsit.
6. Serverul care cedează. Un val de roboți încetinește site-ul pentru clienții reali, pentru că nu există cache.

Lista de verificare

Întrebări frecvente

Dacă blochez roboții de antrenare, mai apar în răspunsurile AI?

Da, dacă permiți roboții de căutare și pe cei care vin la cererea utilizatorilor. Aceștia sunt, în general, cei care aduc citări și linkuri în răspunsuri. Blocarea antrenării înseamnă doar că textele tale nu sunt folosite la construirea viitoarelor versiuni ale modelelor.

Blocarea roboților AI îmi afectează poziția în Google?

Blocarea roboților AI ai altor companii, nu. Nici eticheta Google-Extended nu afectează căutarea Google obișnuită. Blocarea robotului Googlebot, în schimb, te scoate din Google cu totul, așa că nu o face niciodată din greșeală.

Roboții AI îmi încetinesc site-ul?

Pe un site cu cache și o găzduire decentă, de obicei nu. Pe găzduiri foarte limitate, valurile de vizite pot conta. Soluția e cache-ul și, la nevoie, limitarea ritmului roboților foarte activi, nu blocarea lor completă.

Trebuie să am neapărat llms.txt?

Nu e obligatoriu și nu garantează nimic, dar e simplu de făcut și nu are dezavantaje. Gândește-te la el ca la o carte de vizită lăsată special pentru asistenții AI.

Cum știu dacă un robot care spune că e „ClaudeBot” chiar este?

Numele declarat de un robot poate fi falsificat. Marile companii publică liste cu adresele IP ale roboților lor, ca să poată fi verificați. Dacă vezi trafic agresiv de la un „robot AI” care nu respectă robots.txt, e posibil să fie un impostor, iar acela poate fi blocat liniștit din firewall.

Se aplică doar site-urilor WordPress?

Nu. Toate recomandările de mai sus sunt valabile pentru orice site, indiferent de platformă. Diferă doar locul din care faci setările.

Concluzia, pe scurt

Roboții AI sunt deja pe site-ul tău. Unii doar citesc, alții te pot recomanda clienților care întreabă un asistent în loc să caute pe Google. Ca să profiți de acest canal nou nu ai nevoie de trucuri, ci de lucruri de bun-simț: nu le închide ușa din greșeală, decide conștient ce permiți, scrie clar ce faci, unde și pentru cine, și ține site-ul rapid și coerent peste tot unde apari.

Pentru tot tabloul despre vizibilitatea în răspunsurile AI, citește și ghidul onest de SEO pentru era asistenților AI.

Dacă vrei să afli ce văd, de fapt, roboții AI când îți vizitează site-ul, începe cu auditul gratuit WebFixer. Iar dacă vrei să ne ocupăm noi de setări, de robots.txt până la llms.txt și cache, găsești pachetele pe webfixer.ro.