File rotos.txt 
Author: Gianni N.Buongiorno,
sul dominio www.stampemagliette.it riscontro un comportamento anomalo relativo al file robots.txt.
Situazione verificata:
- il file /httpdocs/robots.txt esiste realmente;
• aprendolo dal File Manager di Plesk il contenuto è corretto;
• altri file .txt, ad esempio /prova123.txt, vengono serviti regolarmente;
• /sitemap.xml viene servita correttamente;
• la Home è raggiungibile sia come https://www.stampemagliette.it/ sia come https://www.stampemagliette.it/index.php
Tuttavia:
https://www.stampemagliette.it/robots.txt
restituisce: 404 nginx
e la richiesta non sembra arrivare nei log Apache.
Potete verificare se esiste una regola nginx, una configurazione del virtual host o una gestione particolare del PATH_INFO/PHP che intercetta specificamente /robots.txt?
Vi chiederei inoltre di verificare il motivo per cui la Home è accessibile contemporaneamente sia da:
https://www.stampemagliette.it/
https://www.stampemagliette.it/index.php
e se sia possibile impostare una sola versione canonica, preferibilmente la root /, con eventuale redirect 301 da /index.php a /.
Ho inoltre verificato che URL del tipo:
https://www.stampemagliette.it/index.php/robots.txt
vengono interpretati come una pagina HTML del sito, anziché come file robots.txt, quindi potrebbe essere utile controllare anche la gestione del PATH_INFO su index.php.
Grazie.
Gianni.
Mondocopia.
OT: nel frattempo elimina la index obsoloeta dal tuo honting:
https://www.stampemagliette.it/index.html
https://www.stampemagliette.it/index.php
Aqui aparece:
Cosa?
https://www.stampemagliette.it/index.php/robots.txt
... la path deve essere ..***/directory/nome-file.estensione ... (senza nomi file frapposti)
... la risposta del browser 404 indica l'errore che il file non esiste là dove cercato...
... forse no hai usato l'opzione prevista al Passo_1 | SEO:
Includi il file robots.txt
... in attesa dello STAFF dal prossimo Lunedì, ...penso che troverai tutte le risposte qui:
> GUIDA robots > https://help.websitex5.com/it/v2025.2/pro/index.html?seo_tab1.htm
> GUIDA canonical > https://help.websitex5.com/it/v2025.2/pro/index.html?mappa_pagina_tab3.htm
> FORUM (++) canonical > https://helpcenter.websitex5.com/en/post/215433#comment5
> FAQ robots > https://guide.websitex5.com/it/support/search?term=robots
> FAQ canonical > https://guide.websitex5.com/it/support/search?term=canonical%20
.
ciao
.
Author
Ciao, e grazie a tutti per le indicazioni e per i link alla documentazione (KolAsim).
Ho effettuato nel frattempo ulteriori verifiche.
Per quanto riguarda robots.txt, l'opzione “Includi il file robots.txt” al Passo 1 → SEO di WebSite X5 è già attiva.
Ho inoltre verificato direttamente tramite il File Manager di Plesk che il file:
/httpdocs/robots.txt
esiste effettivamente e contiene correttamente:
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail
Sitemap: https://www.stampemagliette.it/sitemap.xml
La sitemap.xml, presente nella stessa /httpdocs, viene regolarmente servita dal browser.
Ho fatto anche una prova creando nella stessa directory un semplice file /prova123.txt: questo viene regolarmente raggiunto dal browser con risposta 200.
Il comportamento anomalo rimane quindi specifico per:
https://www.stampemagliette.it/robots.txt
che, nonostante il file sia fisicamente presente in /httpdocs, restituisce 404 nginx.
Per quanto riguarda invece /index.php/robots.txt, confermo che non lo considero l'URL corretto del robots: l'avevo utilizzato esclusivamente come prova diagnostica. È interessante però che quell'URL venga interpretato da index.php mostrando la Home, con i relativi collegamenti modificati in /index.php/....
Ho verificato anche la questione canonical indicata nella documentazione. La Home è attualmente raggiungibile sia come:
https://www.stampemagliette.it/
sia come:
https://www.stampemagliette.it/index.php
Nelle Proprietà della Home, WebSite X5 genera il file index con estensione php e nel sorgente non risultava presente alcun rel="canonical".
Ho quindi impostato nella sezione Proprietà Pagina → Esperto → Prima della chiusura del tag HEAD:
<link rel="canonical" href="https://www.stampemagliette.it/">
in modo da indicare la root / come URL canonico della Home.
Resta quindi principalmente da capire perché /robots.txt venga restituito come 404 nginx pur essendo realmente presente nella document root, ed eventualmente se lato server sia opportuno normalizzare anche /index.php verso /.
Attendo volentieri la verifica dello Staff tecnico da lunedì.
Grazie ancora per il supporto.
Buon w.e.
... se non hai limitazioni di sicurezza (*) attivate sul tuo server l'errore 404 si presenta se:
... intanto controlla del Passo_5 | Esportazione > aprendo la cartella del sito prima di avviare l'esportazione se nei file della truttura ad albero è presente il file robots.txt, ed allega qui lo STAMP in modo che si possa valutare...
.
ciao
.