Uma estudante de doutoramento necessita de recolher dados de preços de hotéis ao longo de um período de um ano, para constituir uma amostra necessária para desenvolver a sua pesquisa e para a realização da sua tese. Os dados em causa são publicados em várias plataformas online de reservas de alojamento.
A estudante precisa de obter dados de preços diários de hotéis e outros alojamentos de diversas regiões para compará-los ao longo do tempo. No total, necessitam de ser obtidos dados de centenas de alojamentos, todos os dias, ao longo de um ano.
Inicialmente, a estudante começou por recolher manualmente os dados que necessitava, mas cedo percebeu que era uma tarefa hercúlea para poder ser feita manualmente. Isso implicava fazer as pesquisas na plataforma todos os dias do ano e consultar os resultados um a um, o que demorava demasiado tempo e representava um trabalho cansativo.
Extrair os preços do Booking.com de forma automática
A solução deste problema passou por diversas etapas. Primeiro, foi necessário estudar a estrutura dos endereços das diversas páginas da plataforma Booking.com para identificar como os URL dessas páginas eram construídos.
A segunda etapa consistiu em criar uma listagem de URLs das páginas de pesquisa da plataforma, que correspondiam às datas e aos critérios de pesquisa predefinidos. Esta listagem, com milhares de URLs, foi feita com base num endereço inicial, que continha os elementos comuns a todos os endereços de pesquisa, e componentes variáveis desse endereço no que diz respeito às datas, regiões/cidades e outros critérios de pesquisa.
Depois de se obterem o URL base e as diferentes variáveis, criou-se uma fórmula no Excel que permitiu construir todos os endereços completos em poucos segundos. As milhares de hiperligações criadas passaram a representar endereços que permitiram aceder diretamente às páginas de pesquisa da plataforma, baseada nos critérios definidos.
A seguir, produziu-se uma consulta através do Power Query a todas essas hiperligações. Essa consulta foi editada para organizar os dados de acordo com o pretendido, ou seja, numa listagem por hotel, categoria, região, cidade, preço do alojamento e pontuação média atribuída pelos clientes. Para executar esta consulta diariamente, foi criada uma Macro que realizava a consulta a uma determinada hora do dia, previamente combinada.
