Indexelhetőség és feltérképezhetőség

A feltérképezés során a keresőrobot eléri és letölti az oldal tartalmát, míg az indexelés során a rendszer eldönti, hogy az adott oldal bekerüljön-e a kereshető adatállományba. Egy oldal lehet feltérképezett, de nem indexelt, ha gyenge minőségű, duplikált vagy technikailag problémás. A két folyamat egymásra épül, de nem azonos jelentésű.

A feltérképezést akadályozhatja hibás robots.txt szabályozás, szerverhiba, túl lassú oldalbetöltés, hibás átirányítási lánc, rossz belső linkstruktúra vagy megszakadt URL-hálózat. Ha a robot túl sok technikai problémába ütközik, kevesebb oldalt dolgoz fel, ami csökkenti a webhely láthatóságát és frissülési sebességét a keresőben.

Az indexelést gátolhatja noindex utasítás, duplikált tartalom, gyenge minőségű oldal, vékony tartalom, hibás canonical beállítás vagy irreleváns oldalstruktúra. A keresőmotorok célja, hogy csak hasznos és értelmezhető oldalakat vegyenek fel az indexbe, ezért a technikailag elérhető oldalak sem garantáltan kerülnek be.

A belső linkelés összeköti a webhely oldalait, így a keresőrobotok könnyebben találnak rá új vagy mélyebben elhelyezkedő tartalmakra. Egy logikus linkhálózat csökkenti az árva oldalak számát, gyorsítja a felfedezést és javítja a struktúra értelmezését. Ez közvetlenül támogatja a crawl folyamatot.