O que eu vi Strata + Hadoop World NY 2015 - PARTE 1

Na última semana (29-01 de Outubro) estive na Strata em Nova Iorque, o evento de Big Data mais importante do ano, pela Globo.com. O evento foi bem interessante, foi importante a confirmação que a arquitetura usada por nós do time de Big Data da Globo.com é a mesma usada nos players mais respeitados e o futuro parece ser na direção de Deep Learning, tema discutido em várias apresentações. No primeiro dia foram os tutoriais, eu escolhi o Hardcore Data Science, na verdade era uma sala dedicada a apresentações somente do tema de Data Science que uniu profissionais do mercado (Facebook, Microsoft e Databricks) com pesquisadores das principais universidades americanas (MIT, Stanford e Berkeley), ficou claro nessa apresentação que o Spark MLlib é largamente usada, que há um tendência em cada vez usar mais algoritmos de redes neurais (Deep Learning), outro assunto que foi muito comentado foi a união de tempo real com Machine Learning (Spark Streaming e MLlib). »

BigData na Globo.com

A proposta desse artigo é fundamentar alguns conceitos de BigData e explorar a dinâmica de como tratar um grande volume de dados para extrair valor. A ideia é apresentar a solução de dados na Plataforma de BigData da Globo.com usada pelo Sistema de Recomendação e comentar a experiência do seu desenvolvimento. Esse artigo é uma atualização e expansão da palestra realizada no Rio BigData Meetup em 21 de Outubro de 2014. »