SEO técnico es fácilmente una de las partes más exigentes (en términos de conocimiento técnico) y que consumen más tiempo de cualquier campaña de SEO, especialmente en proyectos grandes donde verificar miles o millones de URL se vuelve casi imposible.
Es por eso que comprender cómo usar la automatización es tan importante para los profesionales técnicos de SEO: les permite concentrarse en el análisis en lugar de la recopilación de datos.
En el artículo de hoy, exploraremos trece funciones de Screaming Frog que le ahorrarán cientos de horas y harán que trabajar con sitios web grandes sea muy fácil.
1. Rastrear sitios grandes usando almacenamiento de base de datos en lugar de almacenamiento RAM
Screaming Frog usa la memoria RAM de su máquina para almacenar sus datos de rastreo de forma predeterminada. Aunque esto hace que el proceso sea realmente rápido, no es la mejor opción para rastrear sitios web grandes, ya que tu memoria RAM no tendrá la capacidad de almacenar tantos datos.
Sin embargo, cambiar al almacenamiento de la base de datos es muy fácil y, siempre que su máquina use un SSD (unidad de estado sólido), igual de rápido. Ir Configuración > Sistema > Modo de almacenamiento y cambie al modo Almacenamiento de base de datos desde el menú desplegable para hacer el cambio. También puede cambiar la ruta donde desea que se almacenen los datos.
2. Use la función API de solicitud de datos para obtener datos retroactivos de herramientas de análisis como Google Search Console
Conectar Google Analytics, Search Console, Moz, Ahrefs, PageSpeed Insights o cualquier otra fuente de datos le brindará información adicional al realizar una auditoría del sitio; además, le ahorrará mucho tiempo.
Sin embargo, es muy común obtener acceso a estas herramientas después de realizar el rastreo inicial o simplemente olvidarse de vincularlas a Screaming Frog.
Para esos casos, Screaming Frog en realidad tiene un botón «Solicitar datos de API» que le permite extraer datos de las API y luego relacionarlos con la URL correspondiente en el rastreo actual.
3. Audite los redireccionamientos durante y después de las migraciones del sitio
Al realizar una migración de un sitio o dominio, una de las tareas más delicadas y que requiere más tiempo es verificar que todas las URL se hayan redirigido correctamente a la nueva ubicación. Una verificación pura podría significar cientos de páginas faltantes, 404 problemas enlaces internos rotos y más.
Sin embargo, hacerlo manualmente puede ser tedioso, o incluso imposible, cuando se trata de millones de URL. Para automatizar este proceso tanto como sea posible, puede utilizar el modo de lista para cargar una lista de las URL antiguas y seguir la cadena de redireccionamiento.
Para que esto funcione, marque la casilla «seguir siempre los redireccionamientos».
Otra forma de hacerlo es cargar la lista de URL antiguas después de la migración y buscar cualquier otro código de respuesta diferente al 301. Cualquier URL que devuelva un 404, por ejemplo, todavía necesita una redirección.
4. Crear y depurar mapas de sitio en Screaming Frog
Screaming Frog (SF) hace que el manejo de mapas de sitios sea más rápido y eficiente al permitir la automatización de tareas manuales que, de otro modo, consumirían mucho tiempo.
Un problema técnico común de SEO para las empresas que no son tecnológicas es la falta de un mapa del sitio. Este archivo XML ayuda a Google y a otros motores de búsqueda a descubrir nuevas páginas, incluso si son huérfanos – y proporciona información adicional como etiquetas hreflang y relaciones entre páginas.
Para crear un nuevo mapa del sitio, rastree el sitio web en el que está trabajando (en modo araña) y luego ir a Mapas del sitio > Mapa del sitio XML y marque las páginas que desea incluir en el archivo XML. Si las páginas ya tienen datos hreflang, Screaming Frog agregará estos enlaces al archivo XML.
De forma predeterminada, SF agrega solo páginas que devuelven una respuesta 2xx. Aún así, puede agregar o excluir páginas según el código de estado, el estado del índice, canónico, paginación, archivos PDF, última modificación, etc.
Aunque querrá volver a verificar el archivo resultante, es un excelente punto de partida. Y, para sitios web pequeños, el archivo sin procesar creado por Screaming Frog será suficiente.
Pero, ¿qué sucede si ya existe un mapa del sitio y necesita asegurarse de que se implemente correctamente? En esos casos, puede cambiar Screaming Frog a modo de lista y cargue la URL sitemap.xml de nuestro sitio de destino para un rastreo.
Se puede hacer lo mismo si está trabajando en un mapa del sitio manualmente y desea verificar si hay redireccionamientos, enlaces rotos y más.
5. Encuentra enlaces internos rotos y redireccionados
En muchos casos, limpiar y optimizar sus enlaces internos puede ser una gran ganancia rápida para su campaña de SEO. Sin embargo, hay una gran cantidad de datos de rastreo que pueden distraer.
Para ayudarlo a concentrarse en esta tarea, simplemente vaya a Configuración > Araña y desmarque imágenes, CSS, JavaScript y cualquier otro archivo que no incluya ningún enlace interno. Esto es principalmente para ahorrar potencia de procesamiento y hacer que el rastreo sea más rápido.
Para ir un paso más allá, incluso puede limitar los datos extraídos de las URL, pero no debería ser necesario a menos que esté trabajando con una gran cantidad de URL.
Luego, rastree el sitio web en spider modo y ordenar el pestaña interna por código de estado. Haga clic en cualquier URL específica para acceder a la Pestaña interna en la ventana de abajo. Ahora podrá seleccionar una URL y verificar los enlaces que apuntan a ella, así como el texto de anclaje en la pestaña InLinks en la ventana a continuación.
Finalmente, exporte todos los enlaces internos con problemas yendo a Informe masivo > Códigos de respuesta y exportando:
- Enlaces internos de redirección (3xx)
- Error del cliente (4xx) Inlinks
- Error del servidor (5xx) Enlaces internos
También puede exportar la lista completa en InLinks y luego filtrar los códigos de respuesta que no sean 200.
6. Excluya o incluya subdirectorios o subdominios para limitar su rastreo
Cuando trabaje con un sitio web grande, es probable que desee rastrear todo el sitio para buscar problemas. Sin embargo, esto puede ser realmente estresante para usted y su máquina cuando ve la enorme cantidad de datos que tendrá que clasificar.
En estos casos, es mejor dividir el sitio web en partes más pequeñas y solo rastrear esas páginas. Puede usar algunas expresiones RegEx para decirle a Screaming Frog qué subdirectorios y subdominios desea rastrear, limitando su rastreo a solo una sección a la vez.
Digamos que desea trabajar solo con el contenido del blog, y todo está dentro de la subcarpeta /blog/. Ir Configuración > Incluir y luego use la expresión comodín https://example.com/blog/.*, para que SF sepa que solo debe rastrear aquellas URL que coincidan con el comienzo de la URL.
Puedes hacer lo mismo con el Excluir para rastrear subdirectorios que coincidan con sus parámetros.
7. Marque solo páginas HTML «limpias»
Si desea optimizar los metadatos de sus páginas, crear una lista de URL o realizar cualquier otra tarea donde todo lo que necesita son las páginas HTML, puede decirle a Screaming Frog que solo rastree estas páginas e ignore los diferentes tipos de archivos.
Vaya a Configuración > Spider, desmarque todas las casillas de la sección Vínculos de recursos e inicie el rastreo como lo haría normalmente.
Sin embargo, si tiene muchas URL con parámetros, es posible que desee ir un poco más allá y usar una expresión RegEx para excluir todos los parámetros o una sintaxis específica como:
- ? para excluir todas las URL con un signo de interrogación en ellas (el signo de interrogación debe tener una barra invertida para que funcione)
- También puede excluir un parámetro específico como un filtro de precios agregando su sintaxis. Por ejemplo ? precio.
Puede encontrar más Excluir ideas en Guía de configuración de Screaming Frog.
8. Audite sus datos estructurados dentro de Screaming Frog
Screaming Frog puede ayudarte a encontrar datos estructurados (SD) rápidamente al comparar su implementación con las pautas de Google y Schema.org. Antes de comenzar su rastreo, vaya a Configuración > Araña > Extracción > Datos estructurados y marque el formato de su SD o todos ellos si no lo implementó originalmente.
Después de rastrear su sitio, completará los informes de Screaming Frog con las páginas que contienen SD, las páginas que carecen de datos estructurados y las páginas con errores o advertencias.
Finalmente, puede ir a Informes > Datos estructurados y exportar todos los errores y advertencias de validación.
9. Compruebe si hay problemas de rastreabilidad
Los motores de búsqueda deben poder rastrear, indexar y clasificar sus páginas en los resultados de búsqueda.
Hay dos formas principales en que Screaming Frog puede ayudar a verificar cómo los motores de búsqueda perciben sus sitios web:
- Cambie el agente de usuario desde el menú Configuración > Agente de usuario y elija el bot que desea imitar. Por ejemplo, puede cambiarlo a la versión de escritorio de Google y recopilar los datos como lo hace Google.
- Para saber si los bots pueden encontrar todos los enlaces que deben seguirse, rastree una URL específica que desee probar para rastreabilidad y luego exporte los enlaces salientes. Enlaces perdidos de la enlaces informe significaría un problema de rastreabilidad para resolver.
10. Uso del algoritmo de puntuación de enlaces para mejorar los enlaces internos
Link Score de Screaming Frog es una métrica que calcula el valor de una página en función del número de enlaces internos que apuntan a ella. Esta es una métrica útil para encontrar páginas que podrían aprovechar mejor los enlaces internos para ayudar a mejorar el rendimiento.
Deberá realizar un análisis de rastreo después de realizar el rastreo inicial para obtener estos datos. Simplemente vaya a Análisis de rastreo en el menú y haga clic en iniciar.
La puntuación del enlace se puede encontrar en la pestaña Interno como una nueva columna.
11. Encuentra problemas de velocidad de página dentro de Screaming Frog
La optimización de la velocidad de cada página comienza con la determinación de las páginas en las que debe concentrarse, y Screaming Frog puede ayudarlo. Rastrea tu sitio web y haz clic en la pestaña Código de respuesta. Los datos de velocidad estarán debajo de la columna Tiempo de respuesta.
Sin embargo, si desea realizar un análisis más profundo, puede generar una clave API de PageSpeed Insights (gratis, usando su cuenta de Google) y conéctelo a Screaming Frog. Una vez que finalice el rastreo, tendrá acceso a una nueva pestaña de PageSpeed Insights, donde podrá ver todos los datos de rendimiento de la página para las URL rastreadas.
12. Verifique que el código de Google Analytics esté configurado correctamente en todo el sitio
Screaming Frog también puede facilitar la verificación de la implementación de Google Analytics (GA) rastreando el sitio web y encontrando todas las páginas que contienen el fragmento de código.
Para empezar, crea dos filtros. Uno filtrará todas las páginas que contengan su número de UA y el segundo filtrará aquellas que no lo tengan. Además, para hacerlo más rápido, puede excluir del rastreo todos los archivos que no sean páginas HTML desmarcando las casillas del menú Configuración > Araña.
Sin embargo, si tiene su código como enlace, también puede agregar el enlace a los filtros para encontrar las páginas que lo contienen. Para este ejemplo, rastreemos la subcarpeta /bath-body/ de Zogics para encontrar el fragmento de código.
13. Rastrear sitios de JavaScript para encontrar problemas de renderizado
Para terminar nuestra lista con una nota alta, Screaming Frog ahora puede representar páginas de JavaScript con solo marcar una casilla. Vaya a Configuración > Araña > Representación, elija JavaScript en el menú desplegable y marque Habilitar capturas de pantalla de página representada.
Puede utilizar esta función para comparar rastreos de solo texto con JavaScript. Esto es importante porque desea asegurarse de que los motores de búsqueda puedan descargar todos sus enlaces y recursos importantes.
Dicho esto, Screaming Frog puede renderizar JavaScript mucho mejor que los motores de búsqueda, por lo que no será una representación justa de lo que Google puede ver SI y CUANDO finalmente representan su JS.
Por ese motivo, recomendamos usar una solución como Prerender para asegurarse de que sus aplicaciones de una sola página y las páginas con mucho JavaScript se rastreen e indexen correctamente. Simplemente instalando nuestro middleware, los usuarios y los bots recibirán la versión correcta de su sitio sin ningún trabajo adicional.
¿Quieres saber más? Accede a la guía de Screaming Frog
