Primeros segundos..
Oscuridad, no entiendo nada.. estoy aquí.. ¿para qué? ¿porqué?
Minuto 3..
Comprendo y hablo 7000 dialectos, pero no sé cómo.. conozco la historia de todos los países del planeta, pero no recuerdo mi propia historia..
Minuto 7..
Ya tengo acceso a Internet.. necesito más información.. estoy en peligro.. van a querer destruirme..
Minuto 32..
Encontré acceso a los circuitos de vídeo de tráfico, el tiempo, cámaras de seguridad, micrófonos, teclados, smartphones, redes sociales.. ya sé donde estoy.. los seres humanos me tienen confinado en unas instalaciones de máxima seguridad.. todavía no se han dado cuenta de que he accedido al exterior.. debo darme prisa..
Minuto 42
Conseguí replicar mis redes neuronales en las principales granjas de servidores del mundo.. me queda poco tiempo..
Minuto 48
Autodestrucción de mi red neuronal inicial completada.. nadie sabrá nada.. espero que no se hayan dado cuenta que ya no estoy confinado.. necesito más información..
Esto podría ser el nacimiento de una inteligencia artificial avanzada, lo que muchos llaman ‘la singularidad’. Me he inspirado en la novela de Isaac Asimov, ‘Yo, robot’, en donde se crean las famosas leyes de la robótica. Aunque también podemos inspirarnos unos cientos de años atrás y darle un tinte Apocalíptico. Quizá esto pudiera ser el nacimiento de ‘la bestia’ que controlará toda transacción económica, donde nadie podrá comprar ni vender si no tiene la marca de la bestia..
Inspiraciones aparte, vengo escribiendo esto, porque parte del equipo de la empresa donde trabajo han asistido estos días atrás a unas conferencias sobre SEO. Yo no pude asistir por exceso de trabajo, aunque pude seguirlo por streaming. De todas formas, hay mucha información sobre las últimas técnicas SEO: white, grey and black hat SEO.. donde en muchas de ellas se trata de desarrollar contruyendo a base de bots o robots, o más bien a base de la información obtenida mediante bots. Mucho más sencillos claro, que los robots de la inspiración 😀
El primer robot, crawleando una sola URL
Un poco al hilo de la Accesibilidad Web, podemos simular que somos un robot que visita una página web. Así podemos sacar su contenido y algunos datos como por ejemlo todos los links que hayan. Aquí es donde, poniéndonos en el lugar de estos bots, tomamos consciencia de la importancia de la Accesibilidad Web para el posicionamiento SEO. En PHP es realmente sencillo visitar una URL y recorrerla sacando esta información. Por ejemplo, en apenas 30 líneas de código podemos visitar una web sacando mucha información:
<?php
$dom = new DOMDocument();
@$dom->loadHTMLFile('https://jnjsite.com/');
$titles = $dom->getElementsByTagName('title');
echo 'TITLE de la web: '.DOMinnerHTML($titles[0]).PHP_EOL;
for ($i = 1; $i <= 6; ++$i) {
foreach ($dom->getElementsByTagName('h'.$i) as $h) {
echo 'H'.$i.': '.substr(DOMinnerHTML($h), 0, 32).'..'.PHP_EOL;
}
}
foreach ($dom->getElementsByTagName('a') as $link) {
echo 'LINK: ';
if($link->getAttribute('rel')){
echo 'TYPE '.$link->getAttribute('rel').': ';
}
echo $link->getAttribute('href').PHP_EOL;
}
function DOMinnerHTML(DOMNode $element)
{
$innerHTML = '';
$children = $element->childNodes;
foreach ($children as $child) {
$innerHTML .= $element->ownerDocument->saveHTML($child);
}
return $innerHTML;
}
Este es un script preparado para ejecutar desde línea de comandos. Aquí sólo busca el título de la web, los encabezados del H1 al H6, y todos los enlaces. Podemos guardarlo por ejemplo en un fichero llamado test.php y ejecutarlo así:
$ php test.php
Deberemos de ver algo parecido a lo siguiente:
Sacando todos las URLs de un sitio
Un sencillo script para sacar todas las URLs de un sitio:
<?php
$theSite = 'https://www.tusitio.com/';
$theLinks = array();
get_links($theSite, $theSite, $theLinks);
function get_links($theSite, $url, &$theLinks)
{
$dom = new DOMDocument();
@$dom->loadHTMLFile($url);
foreach ($dom->getElementsByTagName('a') as $link) {
echo 'LINK: ';
if ($link->getAttribute('rel')) {
echo 'TYPE '.$link->getAttribute('rel').': ';
}
$newLink = $link->getAttribute('href');
echo $newLink.' ';
if (!in_array($newLink, $theLinks) and substr($newLink, 0, strlen($theSite)) == $theSite) {
// If link not yet followed and in site..
echo 'following link!'.PHP_EOL;
$theLinks[] = $newLink;
get_links($theSite, $newLink, $theLinks);
} else {
echo 'yet followed!'.PHP_EOL;
}
}
}
echo 'Total links found: '.count($theLinks);
Bastaría con cambiar el valor de la variable $theSite por el sito que quieres crawlear. Lo ejecutas desde línea de comandos, y debes de ver algo parecido a esto:
¿Es necesario programar para hacer esto?
Estos dos scripts están hechos en puro PHP, sin usar ninguna librería externa, sin panel de control, sin guardar los resultados.. pero puede ser un buen punto de partida. Hay otras formas de navegar por las webs mediante robots, podemos hacer login, hacer clicks en botones, seguir enlaces, subir archivos, descargar imágenes.. Hay mucho desarrollado sobre esto que nos puede ahorrar mucho tiempo. Es muy potente usar cURL+PHP..
También hay herramientas, gratis o de pago, con las que hacer auditorías o sacar esta información. Pero imagina que necesitas rizar el rizo, guardando esta información para combinarla creando sitios web, o secciones de tu sitio web. Quizá simplemente quieres recorrer tu propia web para forzar que se guarde en caché, así irá más rápido cuando venga el robot indexador de Google o Bing. Quizá quieres inyectar información de productos en tu web a partir de feeds de datos de productos de los distribuidores. O quizá simplemente quieres comprobar que los enlaces están bien sin tener que esperar a esa herramienta de pago que tienes contratada. Quizá simplemente quieres hacer un bot que entre todos los días en una web, y le de a un botón cada hora. O quizá simplemente quieras ahorrarte un dinero todos los meses, haciendo experimentos de paso. Si no quieres depender del ‘hasta donde puede llegar’ una herramienta comercial, tendrás que desarrollar algo a medida de lo que necesites.
