SubCrawler è una parte che può eseguire la scansione di pagine Web di grandi dimensioni (in genere incluse immagini, JavaScript e molti altri file Web non HTML) ed estrarre varie informazioni da esse. Questo di solito viene fatto tramite l'algoritmo di page rank di Google (che classifica il tuo sito web in base ai suoi "link", cioè se hai molti link al tuo sito web con molti back link al tuo sito principale, il tuo sito web sarà classificato in alto ). Un grande vantaggio di SubCrawler è che consente al crawler di esaminare rapidamente migliaia di siti Web per trovare quelli con contenuti utili pertinenti alla frase di parole chiave che ha scelto di seguire.
Una delle ricerche più popolari è per un termine o una frase particolare. Per fare ciò, il crawler cercherà in tutte le pagine che contengono questa parola o frase, estraendo le informazioni pertinenti in base al contenuto della pagina e indicizzandole in un elenco nella prima pagina di Google. Il crawler indicizza anche i meta tag e i tag di descrizione nella pagina per assicurarsi di ottenere la descrizione corretta della parola chiave per la pagina. Infine, il software di scansione controlla il tag Meta description della pagina per vedere se è appropriato per quella specifica frase di parole chiave e suggerirà di cambiarlo o eliminarlo se non è appropriato. Cerca anche il testo di ancoraggio (ovvero i link al tuo sito che i robot del motore di ricerca stanno cercando) e si assicura che il contenuto della pagina (come il meta tag o la descrizione) sia pertinente alla frase chiave.
Il software di scansione è solitamente scritto in Java, PHP o Python, quindi è abbastanza facile da capire e utilizzare per qualsiasi motore di ricerca. I motori di ricerca daranno al tuo sito web un posizionamento più alto dandoti un'alta percentuale di siti rilevanti nell'elenco e fornendo contenuti utili e pertinenti nelle pagine. SubCrawler ti consente di specificare quante pagine vuoi guardare, o quali frasi di parole chiave vuoi classificare con gli spider. È possibile specificare il numero di collegamenti tra le pagine, il numero totale di pagine che si desidera scansionare e persino il numero di meta tag che si desidera che il software controlli. Più pagine usi, maggiori possibilità hai di avere tutte le pagine che mostrano gli stessi risultati da parole chiave diverse. SubCrawler può anche utilizzare i tuoi meta tag per le parole chiave oltre ai propri.
