Este artículo se publicó originalmente el 16 de enero de 2020.
Para hacer esto, debe comprender un poco de XPath y las consultas de búsqueda de Google. También necesita saber cómo usar el Herramienta Screaming Frog SEO. Primero aprendí a hacer esto de Publicación de blog de Rory Truesdale en Search Engine Journal.
Antes de continuar, quería decirle que existe una pequeña posibilidad de que el raspado de Serps de Google pueda incluir su IP en la lista negra. Utilice este método bajo su propio riesgo. Si está de acuerdo con el riesgo, siga leyendo.
Configuración del rastreo de la Screaming Frog
Primero, configure el modo Screaming Frog en Lista.
Seguí el consejo de Rory y desmarqué todas las casillas en Configuración -> Araña -> Rastreo.
Si desea ver una captura de pantalla renderizada después de que Screaming Frog rastrea Google, puede ir a la Pestaña de renderizado y seleccione JavaScript.
Descubrí que los resultados son los mismos (sin la captura de pantalla) si seleccioné Solo texto.
Selectores de XPath para títulos de página, URL y meta descripción en Google Serps
Desafortunadamente, cuando usé los selectores XPath de Rory en su publicación de blog, no obtuve ningún resultado. Su publicación se creó en septiembre de 2018. Google probablemente cambió su html y clases desde su publicación de blog. Mediante el uso Herramientas para desarrolladores de Google y el Extensión de raspador de cromo pude encontrar selectores XPath que funcionaron.
Actualizado el 4/12/21: Para obtener el títulos de página de Google Serpspuede usar este selector XPath:
//h3[@class="LC20lb MBeuO DKV0Md"]Si quieres agarrar el URL a las que van los títulos de las páginas de Google Serppuede usar este selector XPath:
//div[@class="yuRUbf"]/a/@hrefSi quieres ir aún más lejos y agarrar el meta descripciones de Google Serpspuede usar este selector XPath:
//div[@class="IsZvec"]Dónde agregar selectores XPath en Screaming Frog
irías a Configuración -> Personalizado -> Extracción para agregar estos selectores XPath. Verás una ventana emergente. Escriba el título de lo que desea que sea cada tipo de datos que se extraen. Usé Título SEO y URL. Aquí hay una captura de pantalla de dónde agregaría los selectores XPath.
Seleccione XPath para el primer menú desplegable y Extraer texto para el segundo menú desplegable.
Para que estos selectores de XPath funcionen, deberá seleccionar el navegador que está utilizando en Configuración -> Agente de usuario -> Agentes de usuario predeterminados. Si deja el campo Agentes de usuario preestablecidos como Screaming Frog Spider, no verá los valores extraídos.
He ejecutado consultas usando Chrome, Firefox y Microsoft Edge como el agente de usuario sin ningún problema.
En Configuración -> Velocidadpuse el Subprocesos máximos a 1.0comprobó el Limitar URL/sy establezca el Máximo de URL/s a .8 Solo para estar seguros. Si este valor es demasiado alto, Google podría bloquearte con una prueba de CAPTCHA.
Ahora, ya está todo listo para agregar sus consultas de Google a spider.
Adición de URL de consultas de búsqueda de Google
Este es el formato que toman las URL de consulta de Google.
https://www.google.com/search?q=your+keyword+phraselos + se utiliza para espacios. Ejecutar esta consulta en Screaming Frog extraerá datos de la primera página de la búsqueda de Google.
Si desea producir algo más que la primera página de resultados, puede agregar un parámetro numérico al igual que:
https://www.google.com/search?q=your+keyword+phrase&num=50Google mostrará los primeros 50 resultados con esa consulta.
También puede utilizar el cerca parámetro para ver cómo se verían los resultados del paquete local en esa ciudad o código postal.
Esto solo afecta los resultados del paquete local. Los resultados orgánicos se adaptarán a la ciudad en la que se encuentre. Si desea ver los resultados orgánicos de un área diferente a la suya, deberá usar una VPN y seleccionar un servidor en la ciudad de su interés. En el caso anterior, sería Chicago, IL.
Creé manualmente mis consultas de búsqueda, pero podría crear una hoja de cálculo de Excel que cree automáticamente las consultas por usted. Lea más sobre eso en entrada de blog de Rory.
Una vez que encuentre sus consultas de búsqueda de Google, puede agregarlas haciendo clic en Cargar -> Ingresar manualmente.
Pegue sus consultas en la ventana que aparece, luego haga clic en Siguiente, luego haga clic en Aceptar. Para ver sus datos de extracción personalizados, deberá desplazarse horizontalmente hacia la derecha. A continuación, una captura de pantalla de los datos extraídos de 6 consultas de búsqueda de Google.
Haga clic en el botón Exportar ubicado justo al lado del botón Cargar para guardar su rastreo y guardar el documento como un archivo de Excel.
Organización de datos de consulta de búsqueda de Google en Excel
Cuando abra su archivo de Excel, querrá elimine todas las columnas que no necesita. En este caso, serían todas las columnas excepto las columnas Url original, Título SEO y Url. Después de hacer esto, mi hoja de cálculo se veía así:
Quería que las columnas Título de SEO y URL fueran filas, y quería que las filas de Url original fueran columnas. Para hacer esto, seleccioné el rango de celdas que contenía el Título SEO y los datos de Url (incluidos los títulos). Luego, copié las celdas, hice clic donde quería que se pegaran los datos de la celda copiada, fui a Editar -> Pegar especialcomprobar el Caja de transposicióny haga clic en OK.
Después de transponer las celdas, mis datos se veían así:
Después de eliminar el título de SEO y los datos de URL de las celdas superiores, transpuse las URL de consulta de Google, las coloqué encima de las columnas correspondientes y cambié el nombre de Url original a algo más descriptivo. Esto es con lo que terminé.
Los datos son mucho más ordenados para analizar. Si observa los datos de la hoja de cálculo, verá que Google cree que la consulta de búsqueda tenía la intención de buscar un proveedor local.
Aprovechar su tiempo ejecutando múltiples consultas
Podría extraer datos de mucho más de 3 consultas, aunque no sé cuál es el límite con Screaming Frog. Digamos que después de haber realizado su investigación de palabras clave, y desea ver cuáles fueron los mejores resultados para todas las palabras clave que está rastreando. Podría ejecutar este rastreo y organizar sus datos en una fracción del tiempo que le llevaría escribir manualmente las consultas en Google.
También puedes usar Screaming Frog para raspar Datos de búsqueda relacionados de Google para múltiples consultas con este selector XPath:
//a[@class="k8XOCe"]Esto podría darle más ideas de palabras clave para optimizar su sitio web.
Gracias por leer esta publicación. Siéntase libre de compartirlo o comentar a continuación.
