Vaig configurar el fitxer robots.txt al meu WordPress per permetre l’accés de ChatGPT i altres bots de cerca importants. Aquesta modificació va simplificar la gestió del lloc web, millorant el SEO i facilitant la creació de contingut.
1. Connexió al servidor i creació del fitxer robots.txt
Primer, vaig connectar-me a l’arrel del servidor mitjançant un client de FTP gratuït. Un cop allà, vaig crear un fitxer de text anomenat robots.txt al directori arrel de WordPress. Aquest fitxer és essencial per definir quines parts del lloc poden ser rastrejades pels motors de cerca.
2. Configuració del fitxer robots.txt
Després de crear el fitxer, vaig afegir-hi el codi necessari per permetre que Googlebot, Bingbot, i ChatGPT accedissin al contingut rellevant, mentre bloquejava l’accés a altres àrees del lloc.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot
User-agent: Bingbot
User-agent: ChatGPT-User-Agent
Allow: /
Disallow: /private/
Disallow: /tmp/
Sitemap: https://elteusite.com/sitemap.xml
3. Resultats de l’optimització per ChatGPT i altres cercadors
Després de fer aquests canvis, ChatGPT i altres bots van començar a accedir correctament al lloc, cosa que va permetre automatitzar la creació de contingut i va optimitzar el SEO de manera notable, sense complicacions.
