Mostrando postagens com marcador Big Data. Mostrar todas as postagens
Mostrando postagens com marcador Big Data. Mostrar todas as postagens

quinta-feira, 13 de março de 2014

Big Data: como analisar informações com qualidade

Internet tem se tornado o local onde uma massiva quantidade de dados é gerada a cada dia. Isto é Big Data, não apenas um conceito abstrato criado pelo universo de Tecnologia da Informação, mas uma forte tendência de crescimento da pulsante atividade digital. Em um minuto, mais de 2 milhões de buscas são feitas no Google, e mais de US$ 250 milhões são gastos por consumidores. Usuários do Twitter enviam mais de 100 mil tweets. Na SurveyMonkey, recebemos mais de 50MB de dados novos de nossos clientes neste tempo.
E o que fazer com tudo isso de informação? Hoje, com a análise de dados Implícitos e Explícitos, é possível entender muito do seu negócio, do mercado, do hábito de consumo dos seus clientes, tendências e sim, sair na frente com isso.

Os Dados Implícitos e suas funcionalidades
Big Data é composto por dois diferentes tipos de dados: os Implícitos e os Explícitos. Dados implícitos são aqueles coletados sem que necessariamente se tenha a anuência das pessoas durante um processo de análise. Por este fato, pode carregar consigo uma conotação sombria – muitas vezes apelidada de “Big Brother”, “Big Oil” e “Big Government”, por exemplo.
Com estes dados, as empresas passam a conhecer os hábitos de seus clientes e, desta forma, muitas vezes, conseguem prever suas próximas ações. Cada bloco de dado disponível está sendo destrinchado e esmiuçado para posterior análise. Os maiores varejistas, das cadeias de supermercados aos bancos de investimentos, têm uma área de “análise preditiva”, focada não apenas em entender os hábitos de compras dos consumidores, mas também seus hábitos pessoais, buscando assim uma forma mais eficiente de comunicar e vender para eles.
Apesar da coleta de Dados Implícitos ser a mais utilizada, pelo fato de que as informações podem ser obtidas em grande escala, você nunca saberá se suas predições estão corretas. Isto porque eles são baseados na coleta passiva dos hábitos e comportamentos das pessoas. E é exatamente por isso que não são 100% à prova de falhas.
Com esse tipo de dados, não é possível para qualquer varejista saber se uma avó está comprando um presente de aniversário para seu neto ou para si própria. Da mesma forma, este varejista não consegue saber se você está comprando um livro para você ou como presente para um amigo. E, independentemente do quão genial seja o analista, ele nunca conseguirá sugerir uma música certa sem PERGUNTAR para a pessoa se determinado ritmo lhe agrada. Sendo assim, a dica é: apenas pergunte. O simples ato de formular uma pergunta específica nos leva para os Dados Explícitos.

E os Dados Explícitos? Como eles podem ajudar nos seus negócios?
Historicamente, Dados Explícitos custam caro e demandam muito tempo para serem apurados. Estes são os motivos por que tradicionalmente os Dados Implícitos acabam recebendo uma grande relevância nas análises de Big Data. Entretanto, a tecnologia tem mudado isto. A internet permite que as empresas obtenham Dados Explícitos em grande escala, por meio de uma variedade de plataformas. Isto está dando poder aos consumidores e esclarecimento às companhias. Quando você responde uma pesquisa, avalia um negócio, dá um “curtir” em uma marca, escreve uma resenha sobre um restaurante, um livro ou um serviço, você está contribuindo para gerar Dados Explícitos.
Um exemplo disto é o que ocorreu com a Ford antes da crise financeira, quando os dados sobre vendas de carros do tipo SUV demonstraram que a grande demanda por esta categoria continuaria nos Estados Unidos. Entretanto, a Ford teve a “clarividência” em apostar no investimento em carros menores e econômicos. Como? A empresa coletou feedback dos consumidores e usou estes dados em adição às informações de vendas para desenvolver seus novos carros e planejamentos. Esta decisão foi provavelmente o motivo da Ford não precisar de ajuda governamental, o que aconteceu com a maioria das montadoras durante o período.
A grande verdade é que Dados Implícitos e Explícitos devem trabalhar juntos, complementando-se. Na SurveyMonkey, usamos ambos para executar e otimizar nosso negócio. Os Dados Implícitos que analisamos incluem, por exemplo, número de perguntas realizadas, número de pesquisas diárias, pacotes de preços, conversão de planos gratuitos em pagos, entre outros. Estas informações são cruzadas com dados conseguidos por meio de pesquisas, referentes à satisfação do cliente, cancelamento de plano ou feedback sobre o produto. 
Para se ter uma ideia do tipo de escala de que estamos falando, na SurveyMonkey, recebemos diariamente de todo o mundo 70GB de novos dados, 2 milhões de respostas e 20 milhões de questões respondidas. Isto é Big Data. Dados Explícitos em grande escala. Isto tem nos ajudado a prever de forma mais assertiva o que acontecerá em nossos negócios.
Usar apenas um tipo de dado é perigoso. Verifique os Dados Implícitos e os Dados Explícitos. Analise seus dados, mas não se esqueça de perguntar “Por quê?”. Dados Implícitos são o “O quê”. Dados Explícitos são o “Por quê”. Um sempre será importante para sustentar o que se extrai do outro.
Rodolfo Ohl é o country manager Brasil da SurveyMonkey – empresa líder global em pesquisas. Bacharel e mestre em administração de empresas pela FECAP – Fundação Escola de Comércio Álvares Penteado - Rodolfo possui rica experiência na implantação e gestão de subsidiarias de unidades de negócios de empresas líderes da internet, como Monster.com, Catho, Manager, além da SurveyMonkey onde trabalha atualmente.

Fonte: http://corporate.canaltech.com.br/coluna/big-data/Big-Data-como-analisar-informacoes-com-qualidade/ 

sexta-feira, 29 de março de 2013

Big Data alavanca mercado de gestão de documentos


Decision Report    

O que era apenas um setor composto por enormes galpões atolados de caixas de documentos corporativos teve que se reinventar com a adoção de novas tecnologias e prestação de novos serviços, ganhando o nome de big data. Como resultado, esse mercado já é um dos que mais cresce na economia brasileira e a sua expansão voltou a ser significativa em 2012: o faturamento chegou a quase R$ 2 bilhões, com incremento de 15%, informa a ABGD - Associação Brasileira das Empresas de Gerenciamento de Documentos.
Empresas como a Keepers Brasil passaram agregar ferramentas tecnológicas e toda uma gama de serviços de BPO (Business Process Outsourcing), que incluem a gestão completa de documentos, tanto físicos quanto digitais, de forma a combinar as vantagens do sistema de mineração de dados (Data Mining) com o big data.
Parte do trabalho consiste em cruzar os dados armazenados na base da própria operadora com informações públicas do mercado e gerar um estudo com gráficos sobre tendência específica para cada empresa atendida. Esses relatórios ficam disponibilizados em nuvem, onde o cliente pode acessar 24h por dia.
A entrada da operadora especializada para o mercado de TI culminou com um impressionante crescimento de 60% em 2012, quando ela contratou cerca de 300 funcionários, somando 800 colaboradores. A operadora também investiu cerca de R$ 3 milhões somente no desenvolvimento de novas tecnologias e ferramentas de BI (Business Intelligence) para conseguir compilar as informações rapidamente e gerar conteúdo para os clientes, informa Coppola.
As corporações podem se beneficiar dessa compilação analítica como parte integrante do processo de precificação de um produto, em uma rede varejista, por exemplo, ou como parte do gerenciamento das tendências de inadimplência que ela vai ter, no caso das instituições financeiras. Segundo a Keepers Brasil, a empresa conseguiu traçar uma tendência futura para errar o mínimo possível nas suas decisões.

Fonte: http://www.decisionreport.com.br/publique/cgi/cgilua.exe/sys/start.htm?infoid=13323&sid=29

quinta-feira, 28 de fevereiro de 2013

Encontro Internacional Dados, Tecnologia e Informação


Encontro Internacional Dados, Tecnologia e Informação

Universidade Estadual Paulista - UNESP - Campus Marília, SP

2 de maio de 2013 – 4 de maio de 2013



Tema: Tecnologias e Acesso a Dados: novos horizontes e perspectivas no uso da informação

Em sua primeira edição, o Encontro Internacional Dados, Tecnologia e Informação – DTI – reunirá pesquisadores nacionais e internacionais na área da Ciência da Informação, para abordar o tema Tecnologias e o Acesso a Dados: novos horizontes e perspectivas no uso da informação.
O evento, sob a iniciativa de docentes e discentes da Linha de Pesquisa Informação e Tecnologia do Programa de Pós-Graduação em Ciência da Informação da UNESP, ocorrerá na cidade de Marília/SP - Campus II da Faculdade de Filosofia e Ciências da UNESP, no período de 02 a 04 de maio de 2013.
Os sub-temas para a submissão de trabalhos são:
  • Open Data: Health Data, Research Data, Sustainability Data, Financial Data, Social Data.
  • Web Semantica, Linked Open Data e Ontologias
  • Gestão de Dados: Escalabilidade, Performance, Qualidade, Interoperabilidade, Segurança de Conteúdo e Controle de Acesso
  • Catalogação de Dados e Padrões de Metadados
  • Explorando e Disponibilizando Dados: obtenção, processamento e visualização
  • Big Data

Chamada de submissões já está aberta

A chamada de submissões do Encontro Internacional Dados, Tecnologia e Informação - DTI - já está aberta.

Banner de Divulgação do Encontro Internacional Dados Tecnologia e Informação

segunda-feira, 14 de janeiro de 2013

EMC promove curso grátis no RJ sobre Big Data

A empresas de capacitação e serviços de TI EMC abriu as inscrições para um curso grátis sobre Big Data.
O treinamento está agendado para ocorrer de 4 a 7 de fevereiro de 2013 no Parque Tecnológico da Universidade Federal do Rio de Janeiro (UFRJ).
O curso conta com a participação de professores e especialistas em processamento e análise de grandes volumes de dados.
Os temas que serão abordados durante o treinamento são MapReduce e Hadoop, processamento paralelo massivo em bancos de dados, Big Data analytics, bancos de dados probabilísticos, mineração de dados e aprendizado de máquina em Big Data, armazenamento massivo de dados, computação em nuvem, workflows científicos e domínios de aplicação.
Os interessados devem ter formação em ciência da computação, estatística, matemática, ou áreas correlacionadas.
A EMC aceitará os currículos até o dia 20 de novembro pelo site do treinamento. A lista com o nome das pessoas selecionadas será divulgada em 10 de dezembro. A empresa afirma que fornecerá auxílio financeiro para viagem e acomodação dos participantes que moram fora da Região Metropolitana do Rio de Janeiro.

Fonte: http://info.abril.com.br/noticias/carreira/emc-promove-curso-gratis-no-rj-sobre-big-data-29102012-30.shl

terça-feira, 18 de dezembro de 2012

Como a web semântica, com base em Big Data, pode transformar a web

"Web de dados” continua sendo um conceito intrigante em vez de o assunto da vez em informação digital. Mas big data pode ajudar a mudar isso

O termo “web semântica” – ou Linked Data Web, web de dados ou web 3.0 – existe há pouco mais de uma década. Sua origem pode ser rastreada em um artigo da Scientific American, de 2001, escrito por Tim Berners-Lee, mais conhecido como o inventor da World Wide Web, e coautores James Hendler e Ora Lassila. O texto projeta uma web futurística em que uma estrutura comum permite que aplicativos compartilhem e reutilizem dados.
O conceito parece um pouco confuso, mas tecnologias de web semântica poderiam permitir uma variedade de usos que não são possíveis com a web de hoje, centrada em documentos. O World Wide Web Consortium (W3C), a organização internacional de padrões liderando os esforços de web semântica, oferece cerca de 30 estudos de casos de como as empresas utilizam, hoje, tecnologias semânticas em diversas áreas. Um exemplo é na integração de dados, quando informações em locais e formatos diferentes são integradas em um aplicativo unificado.
As empresas têm abraçado, devagar, a web semântica, mas soluções e ferramentas de software baseadas nessas tecnologias são disponibilizadas por grandes fornecedores, incluindo a IBM e a Oracle. Empresas menores incluem a Cambridge Semantics, que oferece software corporativo de gerenciamento de dados semânticos.
O W3C vê a web semântica como uma extensão, e não como uma substituta da web atual – uma estrutura que expande os princípios da web de documentos para dados. Muitas especificações semânticas para a web já estão em vigor, e o W3C continua desenvolvendo mais especificações para padronizar a tecnologia.
Esses são os três principais padrões da web semântica:
  • Resource Description Framework (RDF), um método geral para troca de dados na web, que permite o compartilhamento e a mistura de dados estruturados e semiestruturados por diversos aplicativos.
  • SPARQL (Protocolo SPARQL e Linguagem de Consulta RDF), desenvolvido para consultar dados em diferentes sistemas.
  • OWL (Ontology Web Language), que permite que o usuário defina conceitos de forma que possam ser misturados e combinados com outros conceitos de variados usos e aplicativos, de acordo com o tutorial sobre tecnologias de web semântica da Cambridge Semantics.
  • Em entrevista por telefone para a InformationWeek EUA, Sean Martin, CTO da Cambridge Semantics, resumiu a web semântica em poucas palavras: “Basicamente, tudo o que você faz é marcar dados e dar uma descrição do que são”.
“Se puder adicionar informação – mais metadados – o software pode interrogar o dado para descobrir o que é e do que ele é capaz”, acrescentou Martin, que acredita que o surgimento do big data possa ajudar a incentivar a adoção de tecnologias de web semântica.
Eis o porquê: “em primeiro lugar, muitos dos esforços de big data ainda estão muito crus”, disse Martin se referindo ao Hadoop e tecnologias relacionadas. “As ferramentas são relativamente imaturas e temos pessoas especializadas utilizando elas.”
E, por mais benefícios que o HDFS (Hadoop Distributed File System) ofereça, incluindo excelentes capacidades de redundância para operações de big data, ele tem suas limitações. “Você pode criar oceanos de arquivos em HDFS. Mas quem sabe o que eles significam?”, disse Martin. “E como fazemos para que as pessoas possam usá-los?”
A semântica, acredita ele, oferece a oportunidade de preencher essa lacuna. “Você pode pôr uma camada de semântica em cima de qualquer sistema cru ou imaturo. E você passa a usar padrões de dados abertos, que são todos bem escritos e cada vez mais suportados universalmente”.
Isso não quer dizer que a aceitação universal da web semântica esteja logo ali. Na verdade, os mais devotos podem apenas espalhar a mensagem por mais alguns anos – sem nenhuma garantia de êxito. “Existe a possibilidade de tentar impor isso pro mundo – tentando fazer as pessoas entenderem para que serve, por que é importante e o que pode ser feito com isso. Todas essas questões levam tempo”, concluiu Martin.

sábado, 27 de outubro de 2012

Big Data: você já não vive sem

IMAGEM DA BIG DATA BY IBM
 
Hoje, o grande trunfo da TI é sua capacidade de armazenamento de dados, processamento de informações e velocidade de transmissão, que são as bases do mercado contemporâneo.
O termo de mercado foi criado para chamar a atenção para o que chamamos de “explosão informacional” ou, segundo a IBM, para a “acelerada escala em que volumes cada vez maiores de dados são criados pela sociedade.”
O absurdo dessa explosão é tanto que já falamos e petabytes e zetabytes de informações geradas todos os dias, 24 dias por semana.
O princípio é o do caos, estamos falando das informações que são resultado de tudo que fazemos e que acabam virando dados em um sistema de computador. A nota fiscal com CPF, a declaração para a Receita Federal, as atividades da empresa numa intranet, a chamada para um call center, uma compra online, tudo realizado via internet e muitas vezes declarado nas redes sociais.
Para entender melhor, segundo artigo da IBM:
“O Big Data tem uma fórmula simples para conceituá-lo. Big Data = volume + variedade + velocidade + veracidade + valor.
Volume está claro. Geramos petabytes de dados a cada dia.
Variedade também, pois estes dados vêm de sistemas estruturados (hoje minoria) e não estruturados (a imensa maioria), gerados por e-mails, mídias sociais (Facebook, Twitter, YouTube e outros), documentos eletrônicos, apresentações estilo PowerPoint, mensagens instantâneas, sensores, etiquetas RFID, câmeras de vídeo, etc.
Velocidade porque muitas vezes precisamos agir praticamente em tempo real sobre este imenso volume de dados, como em um controle automático de tráfego nas ruas.
Veracidade porque precisamos ter certeza que os dados fazem sentido e são autênticos.
Valor porque é absolutamente necessário que a organização que implementa projetos de Big Data obtenha retorno destes investimentos.”
Independente do nível de privacidade da informação (se pública ou restrita) o que importa é o que fazemos com esses dados. É aí que entra o papel do “cientista de dados” que será o profissional que irá cruzar essas informações e construir poderosas ferramentas de informações sobre pessoas e comportamentos. Missão para arquivistas e bibliotecários?
O cientista de dados analisa o todo e tira conclusões por meio de sistemas de consolidação de informações. Na Wikipédia tem uma parte do artigo Big Data que diz:
“O uso do Big Data pode ser uma arma contra os problemas socioeconômicos (sic), onde ele é interpretado com clareza no filme “Moneyball” (O homem que virou o jogo) com o ator Brad Pitt, no qual o gerente de um time de beisebol usa o Big data para reunir um elenco de primeira linha sem gastar muito.”
Não vi o filme, mas entendi bem o que foi feito com as informações.
Hoje temos à disposição ferramentas básicas para lidar com o Big Data: datamining (mineração de dados), o BI (Business Intelligence) que é a ferramenta “per si” para Big Datas corporativos e outras ferramentas que ajudam a inteligência na análise dos dados. E de outro lado, como profissionais da informação que somos, podemos facilitar muito a coisa. Se tivermos ambientes digitais que foram planejados considerando a padronização de metadados, a taxonomia para indexação e observando os princípios de arquitetura de informação, o trabalho pode ser facilitado para todos. Estaremos estruturando um pedacinho desse todo chamado Big Data.

Escrito por:
Charlley Luz
Charlley Luz é arquivista, professor da pós-graduação em gestão de documentos da FESPSP e consultor em estratégia de informações e ambientes digitais da Feed Consultoria.
Facebook: http://www.facebook.com/charlley
Twitter: http://twitter.com/charlley