Cómo automatizar Screaming Frog en Data Studio

Cómo automatizar informes de rastreo en Data Studio

Este tutorial explica cómo configurar Screaming Frog SEO Spider para crear informes de rastreo totalmente automatizados de Google Data Studio para monitorear el estado del sitio, detectar problemas y realizar un seguimiento del rendimiento.

Al conectar un rastreo programado a una cuenta de Google Drive, SEO Spider puede agregar datos generales de rastreo como una nueva fila dentro de una sola hoja de Google.

Esta hoja de cálculo de Google se actualizará automáticamente cada vez que se ejecute el rastreo programado, lo que le permitirá integrar datos de rastreo de series temporales en cualquier informe de Data Studio.

Haga clic aquí para ver la plantilla oficial de Google Data Studio

Siga los pasos de nuestro tutorial a continuación para configurar su primer informe de rastreo automatizado de Google Data Studio.

Programar un rastreo

La exportación «compatible con Data Studio» solo está disponible a través de la programación de rastreo automatizada, que puede encontrar en «Archivo > Programación» en el menú superior.

Para crear un nuevo rastreo programado y una exportación de Data Studio, haga clic en «Agregar».
programar un rastreo

Consulte nuestra guía de usuario sobre la programación .

¿Trabaja con múltiples dominios y/o clientes?

Puede configurar un solo rastreo programado y la exportación de Data Studio, luego use el botón ‘Duplicar’ para copiar esta configuración. Solo recuerde actualizar la URL inicial de manera adecuada.

General

En la pestaña General del programador, especifique un Nombre de tarea. Esto se usará para identificar la exportación de Google Sheet y cualquier rastreo guardado. También puede proporcionar un nombre de proyecto para cualquier rastreo de base de datos guardado y descripciones para ayudar a diferenciar informes programados similares.

También será necesario especificar una fecha y hora futuras para el primer rastreo programado. Para los informes automatizados, deberá configurarse para ejecutarse diariamente, semanalmente o mensualmente a través del menú desplegable:

Nombre de la tarea

Para la integración de Data Studio, no recomendamos cambiar el nombre de la tarea una vez configurado. Al hacerlo, se creará una nueva exportación dentro de Hojas de cálculo de Google, en lugar de agregarla a la hoja de cálculo existente.

Opciones de inicio

Dentro de la pestaña de opciones de inicio, especifique si desea que SEO Spider rastree en modo Spider normal o rastree una lista de URL en modo Lista.

De forma predeterminada, el rastreo programado se ejecutará con la configuración predeterminada. Sin embargo, al agregar un archivo de configuración a la opción ‘Configuración de rastreo’, se usarán estas configuraciones en su lugar. Esto es obligatorio si desea obtener información no predeterminada en el informe de Data Studio. Por ejemplo, información del mapa del sitio, validación de datos estructurados o representación de JavaScript, etc.

Para generar un archivo de configuración, simplemente habilite todas las configuraciones requeridas dentro de la interfaz de usuario. Luego dirígete a ‘Archivo > Configuración > Guardar como’. Consulte nuestra guía sobre cómo guardar y cargar perfiles de configuración

Análisis de rastreo

Algunos filtros requieren un análisis de rastreo para ejecutarse al finalizar el rastreo. Para habilitar esto para los rastreos programados, seleccione «Análisis de rastreo > Configurar > Análisis automático al final del rastreo» al crear su archivo de configuración.

Exportar

Se requiere el modo sin interfaz para que se ejecute la exportación amigable de Data Studio, por lo que deberá habilitarlo.

Seleccione su cuenta de Google adecuada en el menú desplegable. Si exporta a hojas de Google por primera vez, deberá seleccionar ‘Administrar’, luego haga clic en ‘Agregar’ en la siguiente ventana para agregar su cuenta de Google donde desea exportar.
Exportando a la cuenta 'Agregar' de Hojas de cálculo de Google

Esto abrirá su navegador, donde puede seleccionar e iniciar sesión en su cuenta de Google. Deberá hacer clic en ‘permitir’ dos veces, antes de confirmar sus opciones para ‘permitir’ que SEO Spider exporte datos a su cuenta de Google Drive.
Acceso a Google Sheets para exportar
Una vez que haya autorizado SEO Spider, puede hacer clic en ‘Aceptar’ y el correo electrónico de su cuenta ahora aparecerá en la lista. Seleccione esta cuenta y haga clic en ‘Aceptar’.

Para obtener informes automatizados de Data Studio, marque la opción ‘Resumen de rastreo personalizado’ y haga clic en el botón ‘Configurar’.
opciones de exportación
En este panel, puede personalizar qué información general de rastreo desea incluir en la exportación de Hojas de cálculo de Google. De manera predeterminada, recomendamos seleccionar todas las métricas disponibles y agregarlas al cuadro seleccionado en el lado derecho. Esto se puede hacer instantáneamente haciendo clic en la flecha doble derecha.

Orden métrico

El orden de las métricas en el panel de la derecha se reflejará en el orden de las columnas dentro de la Hoja de cálculo de Google exportada. Por lo tanto, no recomendamos ajustar el orden una vez que se haya ejecutado el informe inicial, ya que los datos y las columnas pueden mezclarse.

Una vez que se haya configurado todo lo anterior y se haya ejecutado un rastreo, se exportará una hoja de cálculo a la unidad de Google especificada. De forma predeterminada, se asociarán en una ruta de carpeta: ‘Mi unidad > Screaming Frog SEO Spider > Nombre del proyecto > [nombre_tarea]_informe_resumen_rastreo’.

Exportará una sola fila de datos para el rastreo, con todas las métricas de nivel superior de la descripción general del rastreo. Cuando esto se haya ejecutado varias veces, tendrá varias filas de información de rastreo durante varios días, semanas o meses:

Los datos de rastreo se agregan automáticamente como una nueva fila a la hoja de cálculo de Google, con las métricas elegidas de la exportación de descripción general de rastreo personalizada en columnas.

Recuerde, esto no exporta todas las URL del rastreo. Habrá una sola fila por rastreo, que contiene datos de descripción general del rastreo.

Conexión a Google Data Studio

Una vez que se haya configurado su Hoja de cálculo de Google, querrá llevar esto a Data Studio. Para este tutorial, usamos nuestra propia plantilla de resumen de rastreo de Screaming Frog. Pero puede crear fácilmente su propio informe o agregarlo a un informe existente mediante la exportación de descripción general.

Haga clic aquí para ver una plantilla de Google Data Studio

Agregar una fuente de datos

Si está copiando nuestro informe, en la parte superior derecha, seleccione los ‘tres puntos > Hacer una copia’:

Luego se le presentará la opción de seleccionar su fuente de datos, que deberá elegir ‘Crear nueva fuente de datos’.

Como alternativa, si crea su propio informe, seleccione Crear > Fuente de datos en la página de inicio de Data Studio.

Cuando se le presente una lista de conectores, seleccione Hojas de cálculo de Google.

A continuación, deberá seleccionar la hoja de cálculo generada por el rastreo programado. Esto se etiquetará como [task_name]_crawl_summary_report (nombre de la tarea como se especifica en las opciones del programador).

Asegúrese de que la opción ‘usar las primeras filas como encabezados’ esté marcada y seleccione ‘Conectar’ en la parte superior derecha.

A continuación, se le presentarán todos los campos de descripción general exportados. La fuente de datos también se puede renombrar en la parte superior izquierda a algo fácilmente identificable.

Ocasionalmente, Data Studio marcará algunos campos como un tipo de ‘fecha’ en lugar de ‘Número’. Recomendamos ordenar la columna ‘Tipo’ y asegurarse de que todos los campos estén configurados correctamente como ‘Número’ utilizando el selector desplegable, aparte del campo ‘Fecha’, por supuesto:

Una vez completado, seleccione ‘Agregar al informe’ en la esquina superior derecha y ‘Copiar informe’ en la siguiente ventana.

Agregar gráficos

Con la hoja de Google ahora agregada como fuente de datos, cada vez que se ejecuta el rastreo automático, el informe de Data Studio se actualizará automáticamente. Puede utilizar estos datos para incorporar gráficos de series temporales, cuadros de mando u otros elementos utilizando cualquiera de las métricas generales exportadas.

Plantilla de resumen de rastreo

Con estos datos, puede comenzar a crear sus propios informes de monitoreo de rastreo con cualquier información general de rastreo. Nuestra plantilla tiene varias pestañas que examinan diferentes elementos de la salud del sitio.

Por ejemplo, puede monitorear la indexabilidad de todo el sitio:

Realice un seguimiento de los elementos de la página, como las etiquetas de título faltantes o duplicadas:

Incluso podemos traer información de Core Web Vital del informe Chrome UX y datos de oportunidades de velocidad de página a través de la API de PSI:

Todo lo anterior le permite identificar fácilmente y solucionar de manera proactiva cualquier problema potencial del sitio o cambios no deseados.

La lista completa de pestañas incluidas en nuestra plantilla:

Resumen: informe general de varias métricas de salud.
Códigos de respuesta: controle los recuentos de códigos de respuesta o URL bloqueadas a lo largo del tiempo.
Tipos de URL: seguimiento de recuentos de HTML interno, imágenes, archivos JS, etc.
Indexabilidad: supervise la indexabilidad de todo el sitio, identifique fácilmente tendencias o aumentos en las URL no indexables.
Estructura del sitio: realice un seguimiento de los cambios en la estructura del sitio, lo que a menudo indica un ajuste en los enlaces internos.
En la página: identifique cambios en los metadatos o encabezados del sitio.
Problemas de contenido: detecte cambios en el contenido de la página, recuentos de páginas duplicadas o problemas de ortografía.
PageSpeed: realice un seguimiento del rendimiento de CWV e identifique oportunidades para mejorar la experiencia de la página.
Datos estructurados: controle los problemas de validación y el uso de datos estructurados en todo el sitio.
Seguridad: analice los problemas de seguridad en todo el sitio y el uso de HTTP no seguro.
Hreflang: realice un seguimiento de los problemas de validación y el uso de hreglang.
Mapas del sitio: identifique errores de validación del mapa del sitio, URL huérfanas y URL que no se encuentran en los mapas del sitio.
JavaScript: analice el uso de JavaScript y su impacto en los metadatos, el contenido y los enlaces internos.
Inspección de URL: supervise los datos de la API de inspección de URL de Google, realice un seguimiento del recuento de URL indexadas o de los problemas de URL.

Adición de datos desde conectores API

Spider es capaz de conectarse a varias API para integrar datos de fuentes externas, muchos de los cuales también se pueden agregar a cualquier informe de Data Studio.

Por ejemplo, la API de inspección de URL más reciente se puede integrar para informar la cantidad de URL indexadas dentro de Google o la cantidad de URL indexables que Google no indexa:

Para integrar cualquier dato de la API, simplemente asegúrese de que la opción esté habilitada al crear el archivo de configuración para usar con el rastreo programado. En el ejemplo anterior, esto significa asegurarse de que ‘Habilitar inspección de URL’ dentro de la configuración de la API de Search Console esté marcada en el archivo de configuración que se está utilizando:

En segundo lugar, dentro de las opciones de programación, asegúrese de que la API relevante esté habilitada y conectada a la cuenta y propiedad correctas de Search Console en la opción ‘Configurar’.

Lo mismo se aplica a los datos exportados de otras API relevantes, como Analytics o PageSpeed Insights.

Vale la pena señalar que cualquier integración de API estará limitada por sus límites de cuotas relevantes. Por ejemplo, la API de inspección de URL está limitada a 2000 URL por propiedad de la consola de búsqueda al día. Si su sitio tiene más de 2000, no podrá usar la API en todo su sitio.

Adición de nuevos filtros a informes existentes

A medida que SEO Spider está en constante evolución, continuamente agregamos nuevas funciones para ayudar a los usuarios a identificar y solucionar problemas de SEO. A menudo, las nuevas funciones también significan que ahora hay nuevos filtros disponibles para la generación de informes y la integración en Data Studio.

No se necesita trabajo adicional para integrarlos en nuevos informes creados desde cero. Sin embargo, para los informes existentes que han estado recopilando datos durante algún tiempo, se requieren algunos pasos adicionales.

Después del lanzamiento de una función y la actualización del software a la última versión, debería ver que ahora hay nuevos filtros disponibles para seleccionar dentro de la selección Exportar descripción general del rastreo:

Simplemente resalte estos nuevos filtros y haga clic en la flecha derecha para agregarlos al final de la lista de filtros ‘Seleccionados’. Una vez que se ejecute su próximo rastreo programado, estos puntos de datos se agregarán a las columnas del extremo derecho de la hoja de Google de exportación general:

En los informes existentes, estas nuevas columnas deberán tener sus encabezados agregados manualmente a la fila inicial de la hoja de cálculo. Estos encabezados deben coincidir con el etiquetado y el orden dentro de la selección de exportación de descripción general de rastreo.

Por ejemplo, en el ejemplo anterior, los siguientes encabezados deberán agregarse manualmente:

Consola de búsqueda: URL no está en Google
Consola de búsqueda: URL indexable no indexada
Consola de búsqueda: URL está en Google, pero tiene problemas
Consola de búsqueda: canónica declarada por el usuario no seleccionada
Consola de búsqueda: la página no es compatible con dispositivos móviles
Consola de búsqueda:URL de AMP no válida
Consola de búsqueda: resultado enriquecido no válido

Una vez que los datos y los encabezados se hayan agregado a su hoja de Google conectada, abra su informe de Data Studio y diríjase a ‘Recursos > Administrar fuentes de datos agregadas’ en la barra de navegación superior:

Seleccione ‘Editar’ en la Fuente de datos para la hoja de Google conectada, luego haga clic en ‘Actualizar campos’ en la esquina inferior izquierda. Esto abrirá una ventana con los nuevos campos agregados a la hoja de Google, que simplemente puede seleccionar ‘Aplicar’:

Los nuevos datos ahora estarán disponibles para usar dentro de su informe de Data Studio existente.

Programación de correo electrónico

Dentro de Data Studio, programa informes para que se envíen por correo electrónico de forma diaria, semanal o mensual. Úselo para notificarse a sí mismo y a las partes interesadas cada vez que se actualice el informe.

Simplemente haga clic en el menú desplegable junto a ‘Compartir’ y seleccione ‘Programar entrega de correo electrónico’

En la siguiente ventana, agregue sus destinatarios, cualquier asunto o mensaje personalizado, la hora y la frecuencia con la que desea que se envíe el correo electrónico.

Programe la hora del correo electrónico
Asegúrese de permitir suficiente tiempo para que se complete el rastreo y las hojas de Google se sincronicen al configurar la hora del correo electrónico. Por ejemplo, si su rastreo normalmente tarda 1 hora en completarse por completo, configure la entrega de correo electrónico al menos una hora después de la hora de programación del rastreo inicial.

Preguntas frecuentes

Algunas preguntas frecuentes comunes que vemos:

¿Por qué no se completó mi rastreo programado?

Si un rastreo programado no se ejecutó a una hora determinada, compruebe que su dispositivo se encendió e inició sesión a la hora programada. Es posible que deba ajustar las opciones de ahorro de energía para evitar que los dispositivos entren en suspensión cuando sea necesario para un rastreo. Por ejemplo, muchas computadoras portátiles solo permanecerán encendidas si están enchufadas, pero puede ajustar este comportamiento en las opciones de ahorro de energía:

Si está seguro de que el dispositivo estaba encendido, diríjase a Archivo > Programación > Historial. Este panel mostrará cualquier error que haya encontrado Spider que pueda haber impedido que se complete el rastreo. A continuación, puede hacer los ajustes necesarios.

¿Por qué los cuadros de mando y los gráficos muestran «Error, ver detalles»?

Si conectó su hoja de Google a nuestra plantilla de descripción general del rastreo de Data Studio y ve que la mayoría de los cuadros de mando muestran «Error, ver detalles» y gráficos en blanco, es probable que se deba a una de las siguientes razones:

Nuestra plantilla de descripción general de rastreo se diseñó para usarse solo con la exportación de descripción general de rastreo personalizada, generada a través del programador de rastreo. Si agregó otra fuente de datos, como una exportación de la pestaña HTML interno, esto no funcionará en nuestro informe.

Al agregar la exportación de descripción general personalizada como fuente de datos, Data Studio puede establecer varias de las métricas en un tipo que no sea «Número». Todos los puntos de datos, excepto la fecha y las URL, deben establecerse en un tipo de Número. De lo contrario, no será posible utilizarlos en gráficos y cuadros de mando.

Nuestra plantilla de informe de descripción general del rastreo se diseñó para funcionar únicamente con la exportación en inglés. Si ha establecido la configuración de idioma de Spider en otro idioma, los encabezados de la exportación serán diferentes. En este caso, deberá volver a agregar manualmente cada uno de los puntos de datos.
Hay varios motivos relacionados con DataStudio por los que los gráficos pueden no mostrar datos, por ejemplo, si el rango de fechas se establece en un período sin datos de rastreo.

¿Por qué no se completan los gráficos superiores en la pestaña PageSpeed?

Los tres gráficos superiores en la pestaña PageSpeed usan datos del conector Chrome UX, en lugar de la exportación de Spider. Es posible que deba volver a agregar esto como fuente de datos y filtrar a su dominio.

Vea más detalles sobre el conector Chrome UX aquí:

https://web.dev/chrome-ux-informe-data-studio-dashboard/

¿Por qué los gráficos en algunas pestañas no muestran datos?

Algunos gráficos dentro de nuestra plantilla de descripción general del rastreo requieren que se habiliten opciones de configuración específicas durante el rastreo programado. Por ejemplo, para monitorear el estado del mapa del sitio, asegúrese de que el archivo de configuración tenga habilitado el rastreo de estos mapas del sitio en Configuración > Araña.

Las pestañas que requieren opciones de configuración específicas incluyen:

Problemas de contenido
Velocidad de página
Datos estructurados
Hreflang
Mapas del sitio
JavaScript
Inspección de URL

Algunas pestañas, como mapas de sitios y hreflang, también requieren un análisis posterior al rastreo para ejecutarse después del rastreo programado. Esto se puede habilitar en el archivo de configuración en Análisis de rastreo > Configurar > marcar ‘analizar automáticamente al final del rastreo’.

¿Por qué faltan algunos mertics en mi informe copiado?

Si copia nuestra plantilla de descripción general del rastreo, es posible que algunos campos personalizados no se transfieran a su copia. Por ejemplo, tenemos un campo personalizado que no es 200 que cuenta todas las URL que no son 200 en los paneles «Resumen» e «Indexabilidad» para los gráficos «Estado de no indexabilidad». Es posible que vea esto etiquetado como ‘Recuento de registros’ después de copiar. Si esto ocurre, puede agregar campos personalizados con fórmulas personalizadas. Por ejemplo, para un recuento de URL que no sean 200, haga clic en el gráfico «Estado de no indexabilidad» para editar, luego «Agregar métrica > Crear campo», escriba «URL que no sean 200» como nombre y la siguiente fórmula :

Resumen

La guía anterior debería ilustrar cómo usar Screaming Frog para automatizar informes de rastreo en Google Data Studio.