User-agent: * Allow: / # Az űrlap-regisztrációs segédfájl nem keresőtalálat, és nem is HTML-oldal, # amelynek a robots metaadatát be lehetne olvasni – ezért a letöltése tiltott. Disallow: /__forms.html # A /koszonjuk visszaigazoló lap szándékosan NEM szerepel itt. A lap saját # `noindex, nofollow` metaadatot ad ki (lásd src/routes/koszonjuk.tsx), amit a # kereső csak úgy tud elolvasni, ha a lapot le is töltheti. A korábbi # `Disallow: /koszonjuk` szabály éppen ezt akadályozta meg: a letiltott lap # noindex jelzése olvashatatlan maradt, így az URL hivatkozás esetén cím és # kivonat nélkül mégis bekerülhetett az indexbe. A kizárást tehát a noindex # meta végzi, nem a robots.txt. A lap a sitemapból továbbra is kimarad, mert # nincs a `publicRoutes` listában. Sitemap: https://sewercleaningkft.hu/sitemap.xml