Transformando terabytes de Big Data em insights

Um estudo de caso de pesquisa de mercado do mundo real com Big Data

O setor de pesquisa de mercado não é estranho aos dados dos consumidores. Entretanto, a escala de "Big Data" gerada pelo comportamento on-line traz uma série de desafios e oportunidades tanto para os profissionais de insights quanto para os profissionais de marketing. Como os consumidores deixam um suprimento infinito de migalhas de pão digitais on-line, como podemos analisar e agir com mais eficiência sobre esse comportamento em nível individual?

Esse foi o desafio que o ArchDaily.com enfrentou após acumular 20 terabytes de Big Data nos últimos três anos. Como o principal site de arquitetura do mundo, interpretar esses dados foi muito mais complicado do que o previsto. Com 150 a 200 milhões de visualizações de páginas por mês, a empresa podia ver volumes comportamentais. No entanto, o ArchDaily.com não sabia o que estava impulsionando o comportamento do usuário. A empresa queria prever melhor as tendências arquitetônicas e identificar os principais fatores para otimizar sua estratégia de conteúdo on-line.

A extração de insights não é um processo fácil, especialmente na escala do Big Data, mas aqui na SKIM somos especialistas em dados e nos aprofundamos no enfrentamento desse desafio analítico.

Continue lendo para saber mais sobre a abordagem de insights que usamos para o ArchDaily.com e os resultados comerciais obtidos com a transformação de terabytes de dados em ação.

Desafio analítico de Big Data

O ArchDaily.com foi criado por dois estudantes de arquitetura em 2006. Originalmente concebido como um blog, ele oferecia uma alternativa às caras assinaturas de revistas de arquitetura. Atualmente, o ArchDaily.com é o principal portal de arquitetura da Web, fornecendo inspiração e conhecimento para ajudar a construir cidades melhores em todo o mundo. O site tem 14 milhões de arquitetos que o acessam mensalmente. Os arquitetos usam o ArchDaily.com como sua principal fonte de inspiração e informação, e para acessar listas de ferramentas e fornecedores selecionados.

Com um enorme tráfego mensal no site, como a maioria das plataformas on-line, o ArchDaily busca ativamente novas maneiras de monetizar ainda mais seus dados e, em 2017, começou a rastrear seus dados com seriedade. Naquela época, eles tinham de fato uma audiência muito saudável. Além de rastrear as visualizações de página e outras métricas básicas, eles tiveram a visão de começar a rastrear muitos outros "eventos" no site - tudo, desde todos os cliques até o comportamento de marcação de favoritos. Embora talvez não tenham considerado isso uma "estratégia de Big Data" na época, eles sabiam que era importante monitorar o comportamento do usuário no site e isso deu início à sua jornada para a extração de Big Data.

Embora a equipe de ciência de dados do ArchDaily tenha conseguido identificar projetos populares com base em visualizações de página e altos níveis de interação, eles não sabiam se o número de visualizações era alto porque os usuários estavam interessados no artigo ou porque, sendo o principal fornecedor de conteúdo arquitetônico e publicando itens sobre o tópico, eles estavam ajudando a alimentar essa popularidade. Eles perceberam que precisavam de uma maneira de eliminar a tendência de publicação dos dados.

Combinação de insights e ciência de dados para prever melhor o comportamento on-line

Os cientistas de dados do ArchDaily.com usavam o aprendizado de máquina para criar modelos, mas acessar, processar e extrair valor desse Big Data semiestruturado, garantindo o rigor analítico e metodológico, era uma tarefa desafiadora. Eles perceberam o valor que a aplicação de métodos advanced analytics para extrair insights mais ricos de seus dados poderia ajudá-los a prever e entender melhor o comportamento on-line do usuário.

"Para esse projeto de Big Data, precisávamos de um especialista em metodologia para adicionar rigor analítico à nossa equipe de ciência de dados e foi isso que nos levou à SKIM", disse o COO do ArchDaily.com, Guillermo Zedan.

Por isso, o ArchDaily.com se uniu a nós e aproveitou nossa estrutura de pesquisa de Big Data para enfrentar seus dois desafios comerciais mais urgentes:

1. Identifique, quantifique e preveja as tendências arquitetônicas populares, ao mesmo tempo em que considera sua própria tendência de publicação.
2. Segmentar e agrupar todos os artigos do site com base nas principais métricas de desempenho para identificar e contrastar os principais impulsionadores de artigos de grande sucesso com outros artigos.

Solução de pesquisa de Big Data

Reunimos uma equipe de metodologistas, especialistas em ciência de dados e advanced analytics para criar uma solução de pesquisa personalizada para o ArchDaily.com. A solução foi implementada em um ambiente de nuvem usando o Google Cloud Platform; combinamos algoritmos de aprendizado de máquina e modelagem estatística robusta para extrair valor dos dados internos do ArchDaily, bem como de benchmarks externos. Mais especificamente, com base nos três anos de dados do ArchDaily, segmentamos mais de dez mil artigos com projetos de arquitetura e reduzimos aproximadamente 1.200 variáveis para traçar o perfil e identificar segmentos úteis que agregaram valor tangível à sua estratégia de negócios.

Por exemplo, aprendemos que se o ArchDaily.com publicasse uma competição, embora isso gerasse atividade, era um comportamento de curta duração, que não agregava muito valor aos negócios. Por outro lado, a capacidade de quantificar com precisão a popularidade da tendência crescente de materiais sustentáveis (por exemplo, o bambu) adicionou uma enorme credibilidade às previsões e criou um valor agregado imediato para os anunciantes, tornando os relatórios futuros muito atraentes para os clientes.

Colocando os insights de Big Data em ação

A aquisição de novos usuários e o envolvimento dos usuários existentes é a pedra angular de qualquer plataforma on-line bem-sucedida. Por isso, desenvolvemos previsões de pesquisa para mais de 200 termos-chave de arquitetura a fim de entender melhor o que os visitantes do site estavam procurando. Ao integrar o painel de previsão ao processo de planejamento e curadoria de conteúdo do ArchDaily.com, eles agora podem prever tendências arquitetônicas que serão cada vez mais procuradas pelos usuários-alvo no futuro, independentemente do cronograma de publicações anteriores.

Como resultado, o ArchDaily.com agora é capaz de incorporar os conhecimentos sobre o que é mais importante para os usuários do ArchDaily.com em seu processo de curadoria, a fim de otimizar seu planejamento editorial e sua estratégia de conteúdo. A plataforma on-line também tem agora as ferramentas necessárias para aumentar a probabilidade de publicar um artigo de grande sucesso. Mais importante ainda, por meio dessa análise de Big Data, o ArchDaily.com agora pode identificar e fornecer conteúdo mais relevante para arquitetos e entusiastas da arquitetura, para que eles possam, por sua vez, projetar cidades e espaços melhores em todo o mundo.

"Há uma defasagem de tempo entre o comportamento que os fabricantes podem ver por meio do comportamento de compra e o que podemos ver na plataforma - entre a fase de exploração do projeto e a construção. O que está sendo tendência em nossa plataforma agora terá impacto no mercado daqui a três anos.

Você pode imaginar como isso seria valioso para a previsão de negócios", disse Zedan.

Iniciando sua jornada de insights de Big Data

À medida que mais fontes de dados se tornam disponíveis, vemos mais oportunidades de extração de insights e ativação de marketing orientado por dados em todos os setores. Além das tendências gerais ou das observações obtidas a partir dos dados, são os insights acionáveis que são mais valiosos. Como o ArchDaily.com constatou, essa é a verdadeira vantagem competitiva que uma estratégia de Big Data pode oferecer.

Na SKIM, acreditamos que, neste mundo crescente de Big Data, os profissionais de insights precisam se adaptar à realidade atual; eles precisam examinar e integrar vários conjuntos de dados para fornecer uma avaliação mais holística. Precisamos nos tornar "agnósticos" em relação à fonte de dados.

No entanto, trabalhar com Big Data apresenta vários desafios e problemas que talvez você não encontre em projetos tradicionais de pesquisa de mercado. Especificamente, você precisará considerar a frequência e o grau de interação entre o cliente e a agência de insights, a arquitetura de software e hardware necessária para lidar com grandes volumes de dados não estruturados e a combinação de algoritmos de aprendizado de máquina e análise estatística multivariada empregada. Você perceberá rapidamente que os projetos de insights de Big Data, como o que realizamos com o ArchDaily.com, são uma jornada única de descoberta de insights e práticas recomendadas de processo.

Da análise de Big Data à fusão de dados, aprendizado de máquina e técnicas de automação, SKIM continua na vanguarda da advanced analytics e da inovação. Estamos constantemente inovando novas maneiras de ajudar as empresas líderes a entender e prever melhor o comportamento das decisões.

Deseja extrair insights mais ricos de seu Big Data? e nossas mentes analíticas entusiasmadas podem ajudar a pensar em como você pode começar hoje mesmo.