Transformar terabytes de Big Data em informações

Um estudo de caso real de pesquisa de mercado com Big Data

O sector dos estudos de mercado não é alheio aos dados dos consumidores. No entanto, a escala de "Big Data" gerada pelo comportamento online traz uma série de desafios e oportunidades tanto para os profissionais de insights como para os profissionais de marketing. Uma vez que os consumidores deixam uma quantidade infinita de migalhas de pão digitais online, como podemos analisar e atuar mais eficazmente sobre este comportamento a nível individual?

Este foi o desafio que o ArchDaily.com enfrentou depois de acumular 20 terabytes de Big Data nos últimos três anos. Sendo o principal sítio Web de arquitetura a nível mundial, a interpretação destes dados foi muito mais complicada do que tinha sido previsto. Com 150-200 milhões de visualizações de páginas por mês, a empresa podia ver volumes de comportamento. No entanto, o ArchDaily.com não sabia o que estava a impulsionar o comportamento dos utilizadores. Pretendia prever melhor as tendências arquitectónicas e identificar os principais factores para otimizar a sua estratégia de conteúdos online.

A extração de insights não é um processo fácil, especialmente na escala de Big Data, mas aqui em SKIM, somos especialistas em dados e mergulhámos a fundo na resolução deste desafio analítico.

Continue a ler para saber mais sobre a abordagem de insights que utilizámos para o ArchDaily.com e os resultados comerciais obtidos ao transformar terabytes de dados em ação.

Desafio analítico dos grandes dados

O ArchDaily.com foi criado por dois estudantes de arquitetura em 2006. Originalmente concebido como um blogue, oferecia uma alternativa às dispendiosas assinaturas de revistas de arquitetura. Atualmente, o ArchDaily.com é o principal portal de arquitetura na Web, proporcionando inspiração e conhecimentos para ajudar a construir melhores cidades a nível mundial. O sítio tem 14 milhões de arquitectos que lhe acedem mensalmente. Os arquitectos utilizam o ArchDaily.com como a sua principal fonte de inspiração e informação, e para aceder a listas de ferramentas e fornecedores selecionados.

Com um enorme tráfego mensal no sítio Web, tal como a maioria das plataformas em linha, o ArchDaily procura ativamente novas formas de rentabilizar os seus dados e, em 2017, começou a seguir os seus dados a sério. Nessa altura, tinham de facto uma audiência muito saudável. Além de acompanhar as visualizações de página e outras métricas básicas, eles tiveram a visão de começar a acompanhar muitos outros "eventos" no site - tudo, desde todos os cliques até o comportamento de marcação de favoritos. Apesar de, na altura, não a terem considerado uma "estratégia de Big Data", sabiam que o acompanhamento do comportamento dos utilizadores no sítio era importante e, assim, começaram a sua viagem para a extração de Big Data.

Embora a equipa de ciência de dados do ArchDaily conseguisse identificar projectos populares com base nas visualizações de páginas e nos elevados níveis de interação, não sabia se as visualizações eram elevadas porque os utilizadores estavam interessados no artigo ou porque, sendo o principal fornecedor de conteúdos de arquitetura e publicando artigos sobre o tema, estavam a ajudar a alimentar essa popularidade. Perceberam que precisavam de uma forma de eliminar a tendência de publicação dos dados.

Combinar conhecimentos e ciência de dados para prever melhor o comportamento em linha

Os cientistas de dados do ArchDaily.com utilizaram a aprendizagem automática para criar modelos, mas aceder, processar e extrair valor deste Big Data semi-estruturado, assegurando simultaneamente o rigor analítico e metodológico, era uma tarefa difícil. Perceberam o valor que a aplicação de métodos advanced analytics para extrair informações mais ricas dos seus dados poderia ajudá-los a prever e compreender melhor o comportamento online do utilizador.

"Para este projeto de Big Data, precisávamos de um especialista em metodologia para acrescentar rigor analítico à nossa equipa de ciência de dados e foi isso que nos levou a SKIM," disse o COO do ArchDaily.com, Guillermo Zedan.

Por isso, o ArchDaily.com juntou-se a nós e aproveitou a nossa estrutura de investigação de Big Data para resolver os seus dois desafios comerciais mais prementes:

1. Identificar, quantificar e prever as tendências arquitectónicas populares, tendo em conta as suas próprias tendências de publicação.
2. Segmentar e agrupar todos os artigos do sítio com base nas principais métricas de desempenho para identificar e contrastar os principais factores de sucesso dos artigos em relação a outros artigos.

Solução de investigação de grandes volumes de dados

Reunimos uma equipa de metodologistas, especialistas em ciência de dados e advanced analytics para criar uma solução de investigação personalizada para o ArchDaily.com. A solução foi implementada num ambiente de nuvem utilizando o Google Cloud Platform; combinámos algoritmos de aprendizagem automática e modelação estatística robusta para extrair valor dos dados internos do ArchDaily, bem como de referências externas. Mais especificamente, com base nos três anos de dados do ArchDaily, segmentámos mais de dez mil artigos com projectos de arquitetura e reduzimos cerca de 1200 variáveis para traçar o perfil e identificar segmentos úteis que acrescentassem valor tangível à sua estratégia de negócio.

Por exemplo, ficámos a saber que se o ArchDaily.com publicasse um concurso, embora isso gerasse atividade, era um comportamento de curta duração, que não acrescentava muito valor ao seu negócio. Por outro lado, a capacidade de quantificar com exatidão a popularidade da tendência crescente de materiais sustentáveis (por exemplo, o bambu) acrescentava uma enorme credibilidade às suas previsões e criava um valor acrescentado imediato para os seus anunciantes, tornando os seus relatórios futuros muito atractivos para os seus clientes.

Colocar em ação as informações dos megadados

A aquisição de novos utilizadores e o envolvimento dos utilizadores existentes é a pedra angular de qualquer plataforma online de sucesso, pelo que desenvolvemos previsões de pesquisa para mais de 200 termos-chave de arquitetura, a fim de compreender melhor o que os visitantes do site procuravam. Ao integrar o painel de previsões no processo de planeamento e curadoria de conteúdos do ArchDaily.com, podem agora prever as tendências arquitectónicas que serão cada vez mais procuradas pelos seus utilizadores-alvo no futuro, independentemente do seu calendário de publicações anterior.

Como resultado, o ArchDaily.com é agora capaz de incorporar os conhecimentos sobre o que é mais importante para os utilizadores do ArchDaily.com no seu processo de curadoria, de modo a otimizar o seu planeamento editorial e estratégia de conteúdos. A plataforma online também dispõe agora das ferramentas necessárias para aumentar a probabilidade de publicar um artigo de grande sucesso. Mais importante ainda, através desta análise de Big Data, o ArchDaily.com pode agora identificar e fornecer conteúdos mais relevantes aos arquitectos e entusiastas da arquitetura, para que estes possam, por sua vez, conceber melhores cidades e espaços de vida em todo o mundo.

"Existe um intervalo de tempo entre o comportamento que os fabricantes conseguem ver através do comportamento de compra e o que nós conseguimos ver na plataforma - entre a fase de exploração do projeto e a construção. O que está a ser tendência na nossa plataforma agora terá impacto no mercado daqui a três anos.

Podem imaginar o valor que isso teria para a previsão de negócios", disse Zedan.

Começar a sua viagem de conhecimento de Big Data

À medida que mais fontes de dados se tornam disponíveis, vemos mais oportunidades para a extração de informações e a ativação do marketing baseado em dados em todos os sectores. Para além das tendências gerais ou das observações obtidas a partir dos dados, são as informações acionáveis que são mais valiosas. Tal como o ArchDaily.com verificou, esta é a verdadeira vantagem competitiva que uma estratégia de Big Data pode oferecer.

Em SKIM, acreditamos que, neste mundo cada vez maior de Big Data, os profissionais de insights precisam de se adaptar à realidade atual; precisam de analisar e integrar vários conjuntos de dados para fornecer uma avaliação mais holística. Temos de nos tornar "agnósticos" relativamente às fontes de dados.

No entanto, trabalhar com grandes volumes de dados apresenta vários desafios e problemas que podem não ser encontrados em projectos tradicionais de estudos de mercado. Especificamente, terá de considerar a frequência e o grau de interação entre o cliente e a agência de informação, a arquitetura de software e hardware necessária para lidar com grandes dados não estruturados e a combinação de algoritmos de aprendizagem automática e análise estatística multivariada utilizada. Rapidamente se aperceberá que os projectos de informações de Big Data, como o que realizámos com o ArchDaily.com, são uma viagem única de descoberta das melhores práticas de informações e de processos.

Desde a análise de Big Data até à fusão de dados, aprendizagem automática e técnicas de automatização, a SKIM continua a estar na vanguarda da advanced analytics e da inovação. Estamos constantemente a inovar novas formas de ajudar as empresas líderes a compreender e a prever melhor o comportamento das decisões.

Pretende extrair informações mais ricas do seu Big Data? e as nossas mentes analíticas e entusiastas podem ajudá-lo a pensar como pode começar hoje.