0% acharam este documento útil (0 voto)
23 visualizações

359f38463d487e9e29bd20e24f0c050a

O documento aborda o conceito de Big Data, suas definições e a crescente produção de dados na sociedade atual, destacando a importância de analisar dados não-estruturados. Discute também a Internet das Coisas, privacidade e o impacto do Big Data no ambiente empresarial, enfatizando a necessidade de tecnologias adequadas para lidar com grandes volumes de dados. Além disso, apresenta estatísticas sobre a quantidade de dados gerados diariamente, sublinhando a relevância do Big Data como vantagem competitiva.
Direitos autorais
© © All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd
0% acharam este documento útil (0 voto)
23 visualizações

359f38463d487e9e29bd20e24f0c050a

O documento aborda o conceito de Big Data, suas definições e a crescente produção de dados na sociedade atual, destacando a importância de analisar dados não-estruturados. Discute também a Internet das Coisas, privacidade e o impacto do Big Data no ambiente empresarial, enfatizando a necessidade de tecnologias adequadas para lidar com grandes volumes de dados. Além disso, apresenta estatísticas sobre a quantidade de dados gerados diariamente, sublinhando a relevância do Big Data como vantagem competitiva.
Direitos autorais
© © All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd
Você está na página 1/ 47

1

BIG DATA E GESTÃO DE DADOS


2

BIG DATA E GESTÃO DE DADOS


3

SUMÁRIO

DEFININDO BIG DATA .......................................................................................................... 4


Internet das coisas................................................................................................................. 23
Privacidade e direito à informação ...................................................................................... 26
BIG DATA NO AMBIENTE EMPRESARIAL ..................................................................... 28
Big Data e estratégia ............................................................................................................. 29
Big Data e processo decisório ............................................................................................. 35
SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS ..................... 38
PROPRIEDADES ACID E CAP........................................................................................... 40
FERRAMENTAS .................................................................................................................... 41
REFERÊNCIAS ...................................................................................................................... 46
4

DEFININDO BIG DATA

http://www.iinterativa.com.br/usando-big-data-para-uma-melhor-experiencia-consumidor-
hiperconectado/

“[...] o big data pode ser descrito como um rio de informações em correnteza
que nunca para [...]” (DAVENPORT, 2014, p.114). A partir desta afirmação, a
próxima seção dedica-se a explicar o que é o Big Data, seus conceitos e expor um
panorama geral do crescente número de dados produzidos pela sociedade atual.
Em seguida, disserta-se sobre as tecnologias de Big Data, que surgem com o
propósito de analisar os dados não-estruturados e em grandes volumes,
5

diferenciando-se dos modelos anteriores que se deparavam com dados estruturados


e internos das organizações.
Discute-se na sequência sobre a Internet das Coisas, conceito em que
objetos, e até mesmo pessoas e animais, estão conectados à Internet gerando
soluções mais precisas para problemas cotidianos, além de otimizar as tarefas do
dia-a-dia.
Para finalizar o capítulo, são levantadas questões relacionadas à privacidade
e ao direito à informação, um dos pontos mais polêmicos sobre o Big Data, que gera
inúmeras discussões e nos mostra um futuro ainda incerto, que possivelmente trará
novos paradigmas ao conceito de privacidade.
Para melhor compreender o significado de Big Data, traduzido literalmente
para o português como “Grandes Dados”, é necessário definir o que é Dado. Na
Ciência da Informação, a conceituação deste termo está quase sempre ligada aos
termos Informação e Conhecimento. Por se tratarem de definições com significados
muito similares, não há consonância entre os autores da área para defini-los,
considerando o aspecto contextual como essencial para distinção, por vezes tênue,
dos termos discutidos. (RUSSO, 2010).
Dado é definido por Setzer (2001, não paginado) como “[...] uma seqüência
de símbolos quantificados ou quantificáveis [...] Com essa definição, um dado é
necessariamente uma entidade matemática e, desta forma, é puramente sintático”.
Já Angeloni (2003, p.18) afirma que “Os dados são elementos brutos, sem
significado, desvinculados da realidade. ” Davenport (1998, p.18) define dado como
uma “Simples observação sobre o estado do mundo”. Sendo ele facilmente
estruturado e obtido por máquinas, além de ser quantificado com frequência. O dado
é facilmente transferível. Conclui-se a partir das elucidações de
Russo (2010, p.15), que “[...] dados são sinais que não foram processados,
correlacionados, integrados, avaliados ou interpretados de qualquer forma, e, por
sua vez, representam a matéria prima a ser utilizada na produção de informações”.
A informação, segundo Setzer (2001, não paginado) “[...] é uma abstração
informal (isto é, não pode ser formalizada através de uma teoria lógica ou
matemática), que está na mente de alguém, representando algo significativo para
essa pessoa”. Na definição de Angeloni (2003, p.18) “As informações são dados
6

com significado. ” A informação é considerada como “[...] dados processados e


contextualizados”. Davenport (1998, p.18) diz que informação são “Dados dotados
de relevância e propósito”. A informação requer uma unidade de análise e exige
consenso com relação ao seu significado e é imprescindível a mediação humana.
Para Russo (2010, p.15) “[...] informação pode ser entendida como dados
processados e contextualizados”.
Conhecimento é definido por Davenport (1998, p.19 apud RUSSO, 2010,
p.17) como “[...] a informação mais valiosa [...] é valiosa precisamente porque
alguém deu à informação um contexto, um significado, uma interpretação”. Setzer
(2001, não paginado) caracteriza conhecimento como “[...] uma abstração interior,
pessoal, de algo que foi experimentado, vivenciado, por alguém”. Angeloni (2003,
p.18) define: O conhecimento pode então ser considerado como a informação
processada pelos indivíduos. O valor agregado à informação depende dos
conhecimentos anteriores desses indivíduos. Assim sendo, adquirimos
conhecimento por meio do uso da informação nas nossas ações. Desta forma, o
conhecimento não pode ser desvinculado do indivíduo; ele está estritamente
relacionado com a percepção do mesmo, que codifica, decodifica, distorce e usa a
informação de acordo com suas características pessoais, ou seja, de acordo com
seus modelos mentais. (ANGELONI, 2003, p.18).
O conhecimento de acordo com Davenport (1998, p.18) é uma “Informação
valiosa da mente humana. Inclui reflexão, síntese, contexto”. É de difícil
estruturação, transferência e captura em máquinas. É frequentemente tácito. O
conhecimento tácito é capital dos seres humanos, dificilmente transmitido e
capturado, dependendo das experiências e vivências da pessoa (RUSSO, 2010,
p.19).
Russo (2010, p.18) distingue os termos analisados como apresentado no
quadro a seguir:
Quadro – Dado x Informação x Conhecimento
Dado Informação Conhecimento
Conjunto de Dado trabalhado, Informação
letras, números ou útil, tratado, com valor trabalhada por pessoas e
dígitos que não contém significativo atribuído ou pelos recursos
7

significado claro. agregado a ele com um computacionais,


sentido natural e lógico. possibilitando a geração de
cenários, simulações e
oportunidades.

FONTE: Russo (2010, p.18). Quadro produzido pela autora.

Analisando as definições acima, percebe-se que o dado, por si só, não possui
significado claro e precisa, portanto, ser capturado e analisado, para que se
transforme em informação. Uma característica importante a ser analisada sobre os
dados é que antes do Big Data, os dados coletados pelas empresas provinham de
fontes internas e eram, majoritariamente, dados estruturados, ou seja, “[...] dados
formatados em linhas e colunas numéricas organizadas” (DAVENPORT, 2014,
p.113). Esse tipo de dado já vem sendo explorado há um tempo pelas organizações,
estando presente em bancos de dados, arquivos sequenciais e com relação de
importância. (CIO, 2012 apud CANARY, 2013).
No entanto, os dados que as empresas irão trabalhar caso intencionem
realizar projetos de Big Data são, em sua maioria, dados não-estruturados
provenientes das mais diversas fontes, como postagens em mídias sociais, vídeos,
informações de GPS, fotos, etc. Cada um destes dados possui um formato diferente
e todos eles precisam ser lidos e assimilados pelas tecnologias de Big Data.
Segundo uma pesquisa realizada pela International Data Corporation (IDC)
em 2011 (apud CANARY, 2013) quase 90% dos dados que provém da Internet são
dados não estruturados e esses números tendem a aumentar. Estes resultados
reafirmam a importância das empresas aprenderem a trabalhar com esse tipo de
dados.
Os dados não-estruturados podem ser classificados em três tipos, de acordo
com a Information Systems Audit and Control Association (ISACA) (2013 apud
HENRIQUES;COSTA, 2014, p.5):
Dados voluntários: criados e compartilhados pelos próprios indivíduos, como
perfis em redes sociais;
8

a) Dados observados: gravações das ações do indivíduo, como dados de


localização disponibilizados pelos celulares;
b) Dados inferidos: dados sobre o indivíduo com base em informações
fornecidas pelo mesmo ou observações, como por exemplo, classificações de
crédito. (ISACA, 2013 apud HENRIQUES;COSTA, 2014, p.5).

Esses dados provenientes da Internet em números exorbitantes foram os


principais responsáveis pelo surgimento do fenômeno do Big Data. Entender o
conceito de Big Data não é simplório, tendo em vista que não existe consenso sobre
o termo, sobre quais tecnologias o sustentam e sobre como torná-lo tangível, ou
seja, como transformar este conceito em soluções de negócio, agregando valor às
organizações (TAURION, 2013b). Porém, a compreensão do mesmo faz-se
essencial quando se entende a importância da utilização do Big Data como
vantagem competitiva.
Segundo Taurion (2013a) entender o Big Data é, primeiramente, pensar em
duas palavras-chave: volume e velocidade. A quantidade de dados gerados
diariamente é impressionante. Nos últimos anos, produziu-se mais dados que em
toda a história da humanidade. (HARVARD BUSINESS REVIEW, 2013).
Estima-se que em 2015 foram gerados 7,9 zettabytes (10 bytes) de dados e
acredita-se que esses números não parem de crescer. Eric Schmidt, diretor
executivo do Google em 2010, afirmou que a sociedade na época produzia em dois
dias maior quantidade de dados do que havia produzido desde o surgimento da
humanidade até 2003. Isso significa aproximadamente cinco exabytes a cada dois
dias (TAURION, 2013a). Porém, assume-se que estes números já estejam bastante
ultrapassados.
Para melhor compreensão, entende-se que um bit é a abreviação do termo
binary digity (dígitos binários, em português, tradução nossa) e que representa o
“Valor compreendido entre duas possibilidades mutuamente exclusivas”. Isso
significa que todas as informações visíveis digitalmente são representadas por
apenas dois números, o 0 e o 1. (TENENBAUM et al., 1995, p.2 apud AMARA;
BEZARRA, 2010, p.2).
9

O byte é um conjunto de oito bits e, a partir daí, existem várias outras


nomenclaturas para determinar múltiplos dos bytes. Um kilobyte equivale a 1.024
bytes, um megabyte equivale a 1.024 kilobytes e um gigabyte equivale a 1.024
megabytes. (O QUE..., 2008). No entanto, essas definições não são suficientes
quando consideramos a quantidade de dados produzidos atualmente e, assim, fez-
se necessário então a criação de novas nomenclaturas como o terabyte que
equivale a 1.000 gigabytes, o petabyte que equivale a 1000 terabytes, o exabyte,
que equivale a 1000 petabytes. E finalmente o zettabyte, que equivale a 1000
exabytes. Um zettabyte representa em dados o conteúdo equivalente a
aproximadamente 250 bilhões de Digital Versatile Discs (DVD). (ARTHUR, 2011).
Em 2013, Taurion (2013a) afirmou que os medidores de energia geravam 350
bilhões de medições por ano e apenas uma pequena parcela de casas possuíam
esse tipo de medidor. Existiam mais de seiscentos milhões de websites, eram
escritos mais de cem mil tuítes por minutos, em um total de aproximadamente 12
terabytes de tuítes por dia. Um bilhão de usuários compartilhava algo no Facebook
gerando 2,7 bilhões de comentários diariamente. Isso sem contar os dados gerados
por sensores e câmeras de segurança pública e que monitoram o trânsito, além dos
mais de um bilhão de smartphones. (TAURION, 2013a).
A empresa Penny Stocks Lab criou um infográfico atualizado em tempo real
que nos mostra a quantidade de dados gerados na Internet de maneira geral e por
plataforma. Diante destas informações, pode-se visualizar, na imagem abaixo, que
em um dia (86.400 segundos) foram produzidos 1.950.393.600 gigabytes de dados.
O que equivale a aproximadamente 1.959.393 terabytes, 1.959 petabytes e mais de
1 zettabyte de dados em apenas 24 horas. Os dados foram coletados iniciando-se
às 16 horas do dia 03 de junho de 2015 até às 16 horas do dia 04 de junho de 2015.
A figura, a seguir, mostra a quantidade de dados produzidos em 24 horas na
Internet.
10

Figura – Quantidade de dados produzidos em 24 horas

Fonte: Penny Stocks Labs (2015).

A partir das informações coletadas nesse site, criou-se o quadro a seguir para
facilitar a análise da quantidade de dados produzidos por diversas plataformas e
mídias sociais nos tempos de um minuto, dez minutos, trinta minutos, uma hora e
um dia.
Quadro – Quantidade de dados produzidos na Internet em tempo real
1 10 30 1 1 dia
minuto minutos minutos hora
Twitter - tuítes 34 3.42 10.2 20.52 492.480
2.000 0.000 60.000 0.000 .000
Youtube - horas 13 1.38 4.16 8.330 199.929
assistidas 8.840 8.400 5.200 .400 .600
Google - buscas 27 2.76 8.29 16.58 398.131
6.480 4.800 4.400 8.800 .200
Amazon - itens 3.0 30.6 91.8 183.6 4.406.4
comprados 60 00 00 00 00
Facebook - 3.1 31.3 93.9 187.9 4.509.7
curtidas 31.760 17.600 52.800 05.600 34.400
LinkedIn - busca 10. 109. 327. 655.2 15.724.
de usuários 920 200 600 00 800
11

Skype - minutos 1.3 13.8 41.6 83.33 199.998


utilizados 88.880 88.800 66.400 2.800 .720
Instagram - fotos 41. 416. 1.24 2.498 59.961.
enviadas 640 400 9.200 .400 600

Quadro – Quantidade de dados produzidos na Internet em tempo real


E- 204.1 2.041.6 6.125.0 1.225.0 2.940.0
mails - 66.680 66.800 00.400 00.080 00.192
enviados
Whats 13.19 131.944 395.832 791.665 1.899.9
App - 4.420 .200 .600 .200 96.480
mensagens
enviadas
Netflix 23.16 231.600 694.800 1.389.6 33.350.
- horas 0 00 400
assistidas
Total 1.354 13.544. 40.633. 81.266. 1.950.3
de dados .440 400 200 400 93.600
gerados em
gigabytes
Fonte: Quadro produzido pela autora com base no site Penny Stock Labs.

Baseando-se nesses números e na diversidade de formatos que a sociedade


gera dados atualmente, compreende-se que Big Data refere-se ao volume e a
variedade de dados. No entanto, existem outras características que necessitam de
análise.
Taurion (2013a, não paginado) diz que “Big Data significa coisas diferentes
para pessoas diferentes”. Considerando que ainda não há um consenso sobre a
definição de Big Data, apresenta-se, a seguir, um quadro com alguns conceitos
levantados de diversos autores e instituições.
12

Quadro – Quadro de conceitos Big Data

McKinsey “Big data” refers to datasets whose size is beyond the ability of typical
Global database software tools to capture, store, manage, and analyze. This definition is
Institute intentionally subjective and incorporates a moving definition of how big a dataset
(2011, needs to be in order to be considered big data […].
p.1)
ISACA Big data refere-se, principalmente, aos conjuntos de dados que são muito
(2013 grandes ou com rápidas mudanças para serem analisados com técnicas de banco
p.5) de dados relacionais tradicionais ou multidimensionais ou ferramentas de software
comumente usadas para capturar, gerenciar e processar os dados em um tempo
razoável.

Quadro 3 – Quadro de conceitos Big Data

Magalhães et al. ([2014?], não [...] Big Data é uma grande massa
paginado) de dados/metadados aos quais geramos
todos os dias, com características
estruturadas (armazenados em banco de
dados) e não estruturadas (fotos, vídeos, e-
mails) e que, na maioria das vezes, é
analisada para atender a eventos em tempo
real, buscando a partir da autenticidade dos
dados dar sentido as informações
relevantes passíveis de agregar valor tanto
para empresas que buscam estratégias
para seu negócio como para governos que
buscam entender as demandas e
características da população.

Dumbill (2012, não paginado) Big data é um dado que excede a


capacidade de processamento dos
sistemas de banco de dados
convencionais. Os dados são muito
13

grandes, são muito rápidos ou não se


encaixam nas estruturas de suas
arquiteturas de banco de dados.

Breternitz e Silva (2013, p. 107). [...] um conjunto de tendências


tecnológicas que permite uma nova
abordagem para o tratamento e
entendimento de grandes conjuntos de
dados para fins de tomada de decisões.

Gartner ([201-], não paginado) Big data é um grande volume de


informações, alta velocidade e alta
variedade de ativos de informação que
demandam formas inovadoras e
econômicas de processamento de
informações para melhor percepção e
tomada de decisões.
Davenport (2014, p.1) [...] big data é um termo genérico
para dados que não podem ser contidos
nos repositórios usuais; refere-se a dados
volumosos demais para caber em um único
servidor; não estruturados demais para se
adequar a um banco de dados organizado
em linhas e colunas; ou fluidos demais para
serem armazenados em um data
warehouse estático. Embora o termo
enfatize seu tamanho, o aspecto mais
complicado do big data, na verdade,
envolve sua falta de estrutura.

FONTE: Quadro produzido pela autora.

Taurion (2013a) define o Big Data utilizando cinco fatores: volume, variedade,
velocidade, veracidade e valor.
14

Big Data não trata apenas da dimensão volume, como parece à primeira vista,
mas existe também uma variedade imensa de dados, não estruturados, dentro e fora
das empresas (coletados das mídias sociais, por exemplo), que precisam ser
validados (terem veracidade para serem usados) e tratados em velocidade
adequada para terem valor para o negócio. A fórmula é então, Big Data = volume +
variedade + velocidade + veracidade, gerando valor. (TAURION, 2013a, não
paginado).
Figura – Os 5 Vs do Big Data

Big Data

Vari Vel Ver Volume


edade ocidade acidade

Valor

O volume é o que mais chama atenção e o sentido mais comum atribuído ao


Big Data. Apesar de subjetivo, é inegável que a quantidade de dados gerada
diariamente – 2,5 quintilhões de bytes, o que equivale a 2,5 seguido de dezoito
zeros – (DAVENPORT, 2014, p.10) e que podem ser analisadas pelas empresas
chegam a números astronômicos. “Geramos petabytes de dados a cada dia. Estima-
se que este volume dobre a cada dezoito meses”. (TAURION, 2013a, não
paginado). Esses dados provêm das mais variadas fontes, como a Internet das
Coisas, que será melhor exemplificada, sensores e câmeras, além do que se gera
nas mídias sociais, através de diferentes dispositivos. “Integram o chamado Big Data
o conteúdo de 640 milhões de sites, dados de seis bilhões de celulares e os três
bilhões de comentários feitos diariamente no Facebook” (TAURION, 2013a, não
paginado). Vale lembrar que esta afirmação foi feita há mais de dois anos e que
15

estes números são, certamente, muito maiores no momento. E que continuarão a


crescer exponencialmente.
A variedade refere-se às diferentes fontes em que os dados podem ser
encontrados e processados (CABRAL; SAID, 2014). Estes dados podem ser
estruturados ou nãoestruturados, sendo este último sua imensa maioria, gerados por
e-mails, mídias sociais, câmeras de segurança, buscas na Internet, etc. Este fator é
de extrema importância, pois estas fontes são, em geral, não relacionadas, porém,
quando combinadas podem derivar em informações de extrema importância para os
gestores tomarem suas decisões e fazerem predições mais eficientes. (TAURION,
2013a).
A velocidade está relacionada à rapidez com que podemos capturar e analisar
os dados gerados em tempo real (CABRAL; SAID, 2014). O Big Data existe em um
fluxo contínuo de informações que não param de fluir. Um dado coletado ontem, já
pode ser ultrapassado hoje, no momento da análise. Por isso, é importante que as
análises sejam feitas em tempo real, atualizadas quase constantemente, adaptando-
se aos novos dados inseridos no sistema. Ao contrário das análises de dados
tradicionais, com o Big Data deve-se obedecer um fluxo contínuo. (DAVENPORT,
2014, p.16).
“A veracidade é uma indicação da integridade dos dados e da capacidade de
uma organização confiar nos dados e poder usá-los com confiança para tomar
decisões cruciais”. (UNIVERSITY ALLIANCE, [20--], não paginado). É uma
característica de extrema importância, tendo em vista que dados sem sentido ou que
não sejam autênticos podem levar a decisões equivocadas e atitudes que gerarão
consequências negativas para a organização. Para certificar-se da validade dos
dados encontrados é preciso ter confiança nas fontes pesquisadas e nos programas
de análise de dados, além de minuciosa análise dos cientistas de dados de que as
informações geradas são confiáveis.
E, por fim, o valor gerado, que são resultados das ações da empresa ao
coletar, armazenar, processar e analisar o Big Data.
O conceito de que o Big Data pode gerar valor para empresa é constatado,
principalmente, quando se percebe a oportunidade de reutilização destes dados.
Utilizados primeiramente em um único aspecto, eles podem ser analisados sobre
16

uma diferente perspectiva ou mesmo poderá ser combinado com os outros dados,
de forma a indicar novas informações à empresa, que podem transformar-se em
valiosas decisões. (TAURION, 2014b).
Taurion (2013a, não paginado) conclui sua explicação dizendo que “Big Data
não é apenas um produto de software e hardware, mas um conjunto de tecnologias,
processos e práticas que permitem às empresas analisarem dados a que antes não
tinham acesso e tomar decisões ou mesmo gerenciar atividades de forma muito
mais eficiente”.
Em contrapartida, Davenport (2014, p.6) acredita que a maioria das definições
do termo são equivocadas, apesar do grande potencial do conceito.
Percebe-se, pela análise destes conceitos apresentados, que boa parte dos
especialistas definem o Big Data pelas características dos três Vs (volume,
variedade e velocidade) e, em alguns casos, até mesmo acrescentando mais dois
Vs (veracidade e valor). Davenport (2014, p.7) discorda destas definições por
acreditar que pode existir Big Data mesmo sem a presença dos três ou cinco Vs. Ele
afirma que “É verdade que essas são características importantes, mas e se você só
tiver um ou dois Vs? Será que isso significa que você só tem um terço ou dois
quintos do big data?”
Davenport (2014, p.6) também critica o erro mais comum relacionado ao
entendimento do termo Big Data, que seria acreditar que se trata somente de um
grande volume de dados. De acordo com o autor, se não se pode tomar esta
afirmação como verdade, considerando que o que definimos como um grande
volume de dados na atualidade poderá ser insignificante no futuro.
Para algumas empresas, o volume de dados analisados não chega a ser
exorbitante, sendo a falta de estrutura dos mesmos o grande problema a ser
considerado com relação ao Big Data (DAVENPORT, 2014, p.6-7).
Davenport (2014, p.8) aconselha então que, ao invés de prender-se a uma
definição única do termo, deve-se analisar todas as muitas variações e
possibilidades do Big Data e explorá-la de acordo com as necessidades da
organização. (DAVENPORT, 2014, p.8).
17

Apresenta-se, a seguir, um quadro que deve ser analisado de forma a


escolher um tipo de possibilidade de cada coluna, para assim ter um melhor
aproveitamento do Big Data. (DAVENPORT, 2014, p.8).

Quadro – Um cardápio de possibilidades de Big Data


Estilo de Fonte de Setor afetado Área afetada
dados dados
Grande On-line Serviços Marketing
volume financeiros

Não Vídeo Saúde Cadeia de


estruturados suprimentos

Fluxo Sensores Manufatura Recursos


contínuo humanos

Formatos Genômicos Viagens/trans Finanças


variados portes

Fonte: DAVENPORT (2014, p.8).


Apesar de Big Data ser uma novidade, a noção de analisar dados de forma a
gerar vantagem competitiva aos negócios já existe há algum tempo sob nomes
diferentes. A grande inovação com relação ao Big Data é, não só seu volume
exacerbado e a velocidade quase em tempo real com que surgem, mas também o
fato destes dados serem, em sua maioria, não estruturados. (DAVENPORT, 2014,
p.9).
Davenport (2014, p.10) exemplifica os diversos termos que já definiram estas
explorações de dados e seus diferentes enfoques, sendo o Big Data o conceito mais
atual. O quadro, mostra a terminologia desse campo.

Quadro – Terminologia para o uso e a análise de dados


Termo Período Significado específico
18

Suporte à decisão 1970- Uso da análise de dados para dar suporte à


1985 tomada de decisões.

Suporte aos 1980- Foco na análise de dados para dar suporte


executivos 1990 ao processo decisório dos altos executivos.

Processamento analítico 1990- Software para a análise de tabelas de dados


On-Line (OLAP) 2000 multidimensionais.

Business Intelligence 1989- Ferramentas para dar suporte a decisões


2005 orientadas por dados, com ênfase em relatórios.

Analytics 2005- Foco em análises estatísticas e matemáticas


2010 para a tomada de decisões.

Big Data 2010atu Foco em um grande volume de dados não


almente estruturados e em rápido movimento.

Fonte: Davenport (2014, p.10).

Uma grande diferença no que tange o Big Data é que antes os dados eram,
em sua maioria, encontrados internamente nas empresas e agora eles estão em
toda parte. Podem “[...] incluir sequências do genoma humano, sensores instalados
em poços de petróleo, comportamentos de células cancerígenas, localização de
produtos em paletes, interações nas mídias sociais ou sinais vitais do paciente”.
(DAVENPORT, 2014, p.119).
Percebe-se que as empresas acreditam no potencial do conceito, apesar de
encontrarem-se ainda em fase de planejamento. Segundo Taurion (2013a, não
paginado) “[...] pelo menos 2/3 das empresas pesquisadas sentem que Big Data
oferece um potencial muito grande para a criação de vantagens competitivas”,
porém somente 6% já possui algum projeto dessa natureza em andamento. 47%
estão ainda na fase de estudos e 28% possuem algum projeto piloto. No entanto, as
empresas não devem somente se impressionar com o volume de dados, mas sim
fazer algo a respeito para analisá-los e compreendê-los, de forma a transformá-los
em conhecimento, inovações e valor para o negócio. Deve-se saber que nem tudo
será utilizável - estima-se que somente 25% destes dados possuem algum tipo de
valor – porém, até então, somente 1% dos zettabytes gerados são analisados.
(HARVARD BUSINESS REVIEW, 2013, p.4).
19

Para tal, é necessário que estas revoluções na análise dos dados extrapolem
os processos de gestão e tecnologia. Precisam existir mudanças nas orientações
básicas e mesmo na cultura organizacional. A forma de pensar no negócio irá mudar
com o advento do Big Data. Os produtos e serviços serão agora totalmente focados
no cliente, no que ele quer, pensa e espera. “As empresas que conseguirem analisar
e se adaptar rapidamente, usando dados a partir de fontes internas e externas,
serão claramente as vencedoras.” (HARVARD BUSINESS REVIEW, 2013, p.5-6).
Portanto, Big Data não é teoria ou futurologia. Geramos um imenso volume de
dados a cada dia e análises de padrões e correlações nesta massa de dados podem
produzir informações valiosíssimas em todos os setores da sociedade humana, de
governos buscando entender demandas da população a empresas buscando se
posicionar mais competitivamente no mercado. (TAURION, 2013a, não paginado).
Entende-se que os conceitos e tecnologias que envolvem o Big Data
influenciarão as empresas por muitas décadas vindouras. Davenport (2014, p.14)
afirma que “Para que tais conceitos e tecnologias desaparecessem, as empresas e
organizações teriam de perder subitamente o interesse em maneiras de poupar
dinheiro, vender mais produtos e serviços e encantar os clientes – um cenário
bastante improvável”.
Ainda que exista muita discordância sobre uma definição concreta do que é
Big Data, é interessante ressaltar que mais importante que o termo, são os
benefícios que o Big Data pode trazer às organizações.

Tecnologias para o Big Data

Como previamente discutido, ainda existem divergências sobre o termo Big


Data, apesar de sua crescente popularidade. Sendo assim, tornar este conceito
aplicável, ou seja, transformar os dados e “[...]criar soluções de negócios que
agreguem valor para as companhias” (TAURION, 2013a, não paginado) ainda se
apresenta como uma tarefa complexa e controversa.
Criam-se então, novas tecnologias capazes de administrar o imenso volume
de dados gerados pelo Big Data, que excedem a capacidade das antigas soluções,
20

preocupadas em analisar dados estruturados gerados pelos sistemas internos das


empresas.
Uma tecnologia, para decifrar o fluxo veloz do Big Data, deve ser capaz de
criar rapidamente modelos estatísticos, que se encaixem aos dados, otimizando-os e
prevendo-os. Para tal, são interessantes tecnologias com aprendizado de máquina,
que são flexíveis e adaptáveis. (DAVENPORT, 2014, p.111).
O aprendizado de máquina, também chamado de modelagem automatizada,
significa que o software consegue adaptar diferentes modelos de dados a fim de
obter o melhor ajuste possível. Esse processo é muito rápido, porém pode gerar
resultados difíceis de interpretar e explicar. (DAVENPORT, 2014, p.116).
Apesar do Big Data usualmente gerar uma discussão em torno do grande
volume de dados não-estruturados, Davenport (2014, p.113) acredita que a grande
novidade relacionada à nova tecnologia é como ela irá gerar valor às organizações,
seja reduzindo os custos, aumentando a velocidade de processamento de dados,
desenvolvendo novos produtos ou serviços e proporcionando um melhor suporte ao
processo decisório, informando novos dados e modelos.
A grande vantagem das tecnologias de Big Data é que a maioria delas é
gratuita ou barata, não sendo necessário grandes investimentos por parte das
empresas neste sentido. No entanto, para arquitetar e programar esses softwares
faz-se necessário uma equipe extremante especializada e bem treinada, o que
demanda tempo e um custo elevado. (DAVENPORT, 2014, p.115).
O quadro , a seguir, apresenta uma visão geral das tecnologias do Big Data,
segundo Davenport (2014, p.112).

Quadro – Visão geral das tecnologias do Big Data


Tecnologia Definição
Hadoop Software de código aberto para o
processamento de big data em uma série de
servidores paralelos
MapReduce Um framework arquitetônico no qual o
Hadoop se baseia
21

Linguagens de script Linguagens de programação adequadas ao


big data (por exemplo, Python, Pig Hive)

Aprendizado de máquina Software para identificar rapidamente o


modelo mais adequado ao conjunto de dados

Visual Analytics Apresentação dos resultados analíticos em


formatos visuais ou gráficos

Processamento de Linguagem Software para análise de texto – frequências,


Natural sentido, etc.
(PLN)
In-memory analytics Processamento de big data na memória do
computador para obter maior velocidade

Fonte: Davenport (2014, p.112).

As tecnologias de Big Data são divididas sob duas óticas:


a) As tecnologias envolvidas com análise de dados, cujos principais
representantes são o Hadoop MapReduce (HMR);
b) As tecnologias de infraestrutura, responsáveis pelo armazenamento e
processamento dos dados. São os bancos de dados Not Only Structured Query
Language (NoSQL).
Alguns exemplos de softwares banco de dados NoSQL que tratam dados
estruturados e não-estruturados são o Big Table, usado pela Google, o DynamoDB,
usado pela Amazon, o Neo4j, entre outros.
O Hadoop é uma das principais tecnologias relacionadas ao Big Data. Criado
em 2005 pelo Yahoo, o Hadoop é um projeto da comunidade Apache, divido em
duas partes: a primeira, o HMR é baseado no MapReduce, software utilizado pelo
Google para acelerar as pesquisas realizadas em seu buscador, a segunda é o
Hadoop Distributed File System (HDFS), que é “[...] um sistema de arquivos
distribuídos otimizados para atuar em dados nãoestruturados” (TAURION, 2013a,
não paginado). Na prática, os dados precisam primeiramente estar armazenados no
HDFS para então serem processados pelo HMR.
22

Além destas duas tecnologias, existe também o Hadoop Common que é um


“[...] conjunto de bibliotecas e utilitários que suportam os projetos Hadoop”
(TAURION, 2013a, não paginado).
Davenport (2014, p.113) define o Hadoop como “[...] um conjunto de
ferramentas de software de código aberto e um framework para distribuir os dados
em vários computadores; trata-se de um ambiente unificado de armazenamento e
processamento altamente escalonável para grandes e complexos volumes de
dados”.
Outra tecnologia de extrema importância para o Big Data é o Stream Process.
Sua principal diferença com relação ao Hadoop é que este último analisa os dados
que são primeiramente armazenados em seu sistema, enquanto o Stream Process
faz a análise de dados em tempo real. A vantagem desta tecnologia é que a análise
dos dados no momento que os mesmos estão sendo criados permite a realização de
ações imediatas em resposta às questões levantadas. (TAURION, 2013a).
O grande desafio para os gestores que pretendem se arriscar a trabalhar com
Big Data é escolher a opção de banco de dados mais adequada, dentre tantas e,
especialmente, qual o melhor componente de análise de dados a ser utilizado,
sendo este último o principal responsável por transformar estes dados em valor para
as empresas.
Outros aspectos a serem considerados, quando se analisa as tecnologias de
Big Data são o conceito de stream process, que permite o tratamento de dados em
tempo real e as tecnologias que permitem a visualização destes dados. Alguns
exemplos são as nuvens de tags, clustergramas, History Flow e Spatial Information
Flow.
A utilização da computação em nuvem é outro fator tecnológico interessante,
tendo em vista sua capacidade de suportar imensos volumes, sua elasticidade e
menor custo se comparado ao armazenamento em servidores físicos.
Para obter sucesso tirando proveito do Big Data, faz-se essencial para as
empresas começarem a investir em tecnologias que o comportem, tendo sempre em
vista que um dos atributos essenciais quando se fala deste novo conceito é a
resiliência. O volume de dados, sua natureza, a velocidade com que são criados
novos dados, está em constante mudança e somente as organizações que
23

souberem se adaptar prontamente e tirar proveito dessas variações, é que serão


bem-sucedidas. (TAURION, 2013a).
Internet das coisas

“A Internet das Coisas vai criar uma rede de centenas de bilhões de objetos
identificáveis e que poderão interoperar uns com os outros e com os data centers e
suas nuvens computacionais. A Internet das Coisas vai aglutinar o mundo digital
com o mundo físico, permitindo que os objetos façam parte dos sistemas de
informação. Com a Internet das Coisas podemos adicionar inteligência à
infraestrutura física que molda nossa sociedade. A Internet das Coisas, com seus
objetos gerando dados a todo instante, é um impulsionador poderoso para o Big
Data.” (TAURION, 2013a, não paginado).
Na década de 1980, o filósofo francês Pierre Levy (apud DINIZ, 2006, p.59)
criou o termo "ecologia coletiva" para designar a articulação de "coletividades
pensantes homenscoisas". Foi este pensamento que inspirou a criação da chamada
"Internet das Coisas". A Internet foi criada com o propósito de proporcionar a
comunicação a qualquer tempo e em qualquer lugar, entre pessoas, porém a
Internet das coisas extrapola esta definição, adicionando a comunicação entre
quaisquer coisas.
Segundo Singer (2012, não paginado), o termo “[...] é usado para designar
processos que envolvam objetos conectados em rede e que produzam e/ou
processem informação em tempo real e de forma autônoma.”
Já Evans (2001, p.2) da Cisco Internet Business Solutions Group, considera
que a Internet das Coisas só passou a existir a partir do momento que haviam mais
objetos ou coisas conectados do que pessoas. Isso aconteceu oficialmente em
2010, quando o número de aparelhos conectados à Internet chegou a 12,5 bilhões,
enquanto a população mundial era de 6,8 bilhões, um total de 1,84 aparelhos
conectados à Internet por pessoa. Porém, refinando estes números, Evans (2011,
p.3) acredita que a Internet das coisas surgiu entre 2008 e 2009.
A figura , a seguir, representa a Internet das Coisas segundo Evans (2011,
p.2).
24

Figura – A Internet das coisas surge entre 2008 e 2009

Fonte: Evans (2011, p.2).

Os exemplos de objetos conectados à Internet são inúmeros. O primeiro


eletrodoméstico “inteligente” foi uma geladeira fabricada pela Lucky Goldstar (LG)
em junho de 2000. O objetivo era que a geladeira pudesse se conectar
automaticamente com outros aparelhos eletrônicos como a televisão, o rádio, a
câmera digital etc.
Em 2005, foi criado o Nabaztag, um objeto em forma de coelho, que recebia
via Internet a previsão do tempo, lia e-mails e notícias, entre outras coisas. Este foi o
primeiro objeto inteligente comercializado em escala, que não foi produzido para
indústrias. (SINGER, 2012).
Atualmente, as televisões, sistemas de segurança e de ar-condicionado
estão cada vez mais em rede, otimizando seu uso, consumo e manutenção. A
previsão é que em breve os dispositivos de consumo, como a geladeira, por
exemplo, estejam ainda mais conectados, possibilitando facilidades como
encomendar automaticamente algum produto cujo estoque esteja acabando.
Apesar do nome estar relacionado às coisas, os sensores não são exclusivos
aos objetos. Já existem experimentos sendo feitos em animais e humanos. A
empresa J.R. Simplot realiza experiências nas quais implementa sensores no
estômago de vacas, que determinam sua temperatura e a presença de bactérias
25

E.Coli. Caso ocorra alguma alteração, os veterinários podem prontamente tratar


qualquer doença.
Relacionado aos seres humanos, as atividades diárias estão sendo cada vez
mais monitoradas por meio de smartphones e relógios digitais. Existem centenas de
aplicativos capazes de coletar e analisar o condicionamento físico, produtividade e
saúde pessoal. Os dispositivos da Apple, como o iPhone e o Apple Watch, possuem
integrados ao seu sistema um aplicativo de controle de saúde que indica o número
de passos diários, resultados de exames médicos e mesmo análise do sono. Outros
aplicativos como o Nike+ e o RunKeeper são dedicados a esportistas que desejam
monitorar seus exercícios físicos, com controle de tempo, velocidade e percurso,
através do GPS de seu celular ou relógio. Um aplicativo chamado Me-trics possui a
ferramenta de analisar e monitorar todo e qualquer âmbito da vida, o que inclui a
saúde, estado de espírito, finanças, condicionamento físico, atividades on-line e
mesmo consumo diário de água.
Ainda que esteja acontecendo uma grande evolução dos sensores na vida
cotidiana, a maioria dos dados da Internet das Coisas provém da “Internet industrial”,
ou seja, as empresas estão conectando suas fábricas, malhas de transporte, redes
de energia etc. A General Electric (GE) declarou que o monitoramento de lâminas de
turbinas a gás de produção de energia pode produzir até 588 gigabytes por dia.
(DAVENPORT, 2014, p.11-12).
Os exemplos são inúmeros e prediz-se que, em breve, será possível inclusive
saber em que local as pessoas se encontram (casa, trabalho, escola, etc.) com uma
simples procura por seu nome no Google.
Apesar de todos os benefícios que a Internet das Coisas pode proporcionar,
levantam-se questões como a privacidade e riscos ambientais e biomédicos, que
possam vir a ser desenvolvidos através do uso contínuo destas tecnologias. (DINIZ,
2006, p.59).
Outros autores são mais otimistas, como Evans (2011, p.2) que acredita que
a Internet foi uma das mais importantes e poderosas criações da história humana e
que a Internet das coisas representa a próxima evolução da Internet.
26

Privacidade e direito à informação

Um dos aspectos bastante discutido entre os teóricos que analisam o Big


Data é a questão da privacidade e dos limites éticos que as empresas devem levar
em consideração com relação aos dados de seus clientes antes de começar a
coletá-los e analisá-los sem restrições. (TAURION, 2013a).
Privacidade é definida por Ferreira (2010 apud MAGALHÃES et al., [2014?],
não paginado) como “[...] a condição de quem tem a vida íntima, os assuntos e os
afazeres pessoais preservados, ou ainda, os assuntos considerados privados”. O
dicionário online Michaelis (DICIONÁRIO, 2012, não paginado) define privacidade
como “vida privada, intimidade”. Magalhães et al. ([2014?]) conclui então que,
preservar a privacidade relaciona-se com o controle do indivíduo sobre as
informações que lhe concernem, protegendo sua vida íntima de forma que seu
espaço privado não seja utilizado por terceiros.
Sendo assim, as empresas e seus clientes devem tomar precauções
especiais quando consideram a privacidade relacionada ao Big Data. Essa
preocupação é legítima pois a empresa só poderá ter acesso aos dados de seus
clientes se os mesmos estiverem cientes e dispostos a compartilhá-los. Caso
contrário, “[...] a promessa do Big Data é vazia”. (HARVARD BUSINESS REVIEW,
2013, p.8).
As questões de privacidade versus direito à informação ainda causam
diversas dúvidas relacionadas à governança dos dados. A maioria dos dados que
compõem o Big Data provêm de fora da organização e ainda não é claro quem
detém a propriedade dos mesmos. Davenport (2014, p.120) relata que em uma
pesquisa em que foi perguntada a questão “[...] a quem os dados dos nossos
clientes pertencem?”, a maioria das empresas teve dificuldade em responder.
Magalhães et al. ([2014]) atenta-se ainda, em questionar se usuários
possuem realmente consciência da forma que os dados que fornecem na Internet
(em sites de relacionamento, aplicativos, sites de comércio eletrônico, etc.) podem
ser utilizados e ao grau de exposição a que estão sujeitos. Para se afiliar a estes
sites, o usuário concorda com os Termos de Usos, associados a uma Política de
Privacidade, que garante à empresa diversos direitos sobre os dados de seus
27

clientes. No entanto, grande parte dos usuários destes sites não possuem o hábito
de ler estes termos e concordam com os mesmos, sem saberem exatamente ao que
estão se sujeitando. (MAGALHÃES et al., [2014]).
Em sites de relacionamento, como o Facebook estas questões podem ir
além. Quando o usuário concorda com os Termos de Uso e adiciona suas fotos e
dados no site, o Facebook armazena os mesmos por tempo indeterminado, mesmo
que o usuário decida apagar sua conta, sob o pretexto que um dia possa mudar de
ideia e decidir reabri-la. Sendo assim, tudo que um dia foi publicado em sua conta
torna-se, automaticamente, propriedade da empresa. (MAGALHÃES et al., [2014]).
Taurion (2013a) afirma que possuindo a data de nascimento, o gênero e o
código postal de uma pessoa é possível identificá-la em bases de dados abertas e
públicas em 87% dos casos, o que pode vir a ser preocupante. Em alguns casos,
esses dados podem ser usados de forma maliciosa, pois informações como “estou
de férias” em mídias sociais podem, por exemplo, aumentar o risco de roubo à
propriedade, dentre outros problemas.
As empresas devem sempre atentar-se as questões legais relacionadas ao
uso de dados, para não gerar constrangimentos e inconvenientes que podem levar,
não só a perda de clientes, mas também gerar processos legais. Para evitar tais
consequências indesejadas é interessante “[...] criar uma política de segurança da
informação que classifique os dados de acordo com seu nível de privacidade”.
(TAURION, 2013a, não paginado).
É necessário atentar-se também, ao fato de, quando tratados, os dados do
Big Data poderem ser facilmente triangulados e integrados com diversas outras
fontes e, por vezes, um dado que individualmente não exporia um cliente (como
comportamentos, hábitos de compra etc.), combinados podem revelar identificação
pessoal íntima ou mesmo segredos industriais que podem não só gerar processos
judiciais às organizações, mas também prejudicar sua imagem. (TAURION, 2013a).
Deixamos nossa pegada digital a todo momento, seja usando o Internet
Banking, comprando pela Internet, acessando um buscador, tuitando, comentando
alguma coisa no Facebook, usando o smarphone, ativando serviços de localização.
Aglutinar todas estas informações permite a uma empresa ou governo ter uma visão
bem abrangente daquela pessoa e de seus hábitos e costumes. Onde esteve a cada
28

dia e o que viu na Internet. Se tem alguma doença ou se tem propensão a sofrer de
uma. Esta questão nos leva a outro ponto extremamente importante: garantir a
segurança deste imenso volume de dados. (TAURION, 2013a, não paginado).
Com o acesso das empresas a esses dados, Taurion (2013a) afirma que se
pode, inclusive, dar um novo sentido à palavra anonimato. Tendo em à vista o
acesso cada vez mais frequente e livre de barreiras a informações pessoais, a
fronteira entre o público e o privado torna-se menos evidente e a privacidade cada
vez menos respeitada. Os clientes não se importam mais em oferecer seus dados às
empresas, desde que recebam em troca serviços e produtos melhores e
personalizados. Porém, para esta troca, acredita-se na responsabilidade da empresa
em salvaguardar estar informações. Violações destes dados podem estragar
relações entre o cliente e a empresa e gerar custos irreparáveis às últimas. “As
empresas que podem ser transparentes com relação à coleta e uso de informações
ao mesmo tempo em que demonstram que a gestão de risco cibernético tem alta
prioridade, terão uma vantagem competitiva. ” (HARVARD BUSINESS REVIEW,
2013, p.11).

BIG DATA NO AMBIENTE EMPRESARIAL

Diante desta revolução digital, as empresas podem escolher não tomar


nenhuma medida de forma a conquistar seu espaço no novo mercado que se
anuncia ou identificar as oportunidades que o Big Data apresenta para se
sobressaírem sobre seus concorrentes. “Com o mundo hiperconectado podem
redesenhar sua proposição de valor para seus clientes”. (TAURION, 2013a, não
paginado).
No presente capítulo, apresenta-se o potencial do Big Data para auxiliar as
empresas a conquistarem vantagem competitiva. É necessário então compreender o
papel do Big Data na estratégia das organizações e seu poder no auxílio à tomada
de decisão.
29

Big Data e estratégia

Segundo a Enciclopédia Barsa (1979, v.6, p.43), a palavra estratégia tem


origem no grego strategus, uma designação dos generais na antiga Grécia, e
significa, literalmente, a arte do general. Porém, afirma-se que, não é possível
encontrar uma definição única para o termo atualmente, pois estratégia “[...] passou
a representar uma interdependência entre os objetos, planos e potenciais, de ordem
política, social, econômica e militar de uma nação”.
Clausewitz (apud ENCICLOPÉDIA, v.6, p.43) definiu estratégia no século XIX
como “[...] a combinação entre si de vários combates isolados... Em outras palavras,
a estratégia elabora o plano da guerra, delineia o rumo proposto para as várias
campanhas que a compõem e prevê as batalhas a serem travadas em cada
campanha”.
Sun Tzu foi um general chinês que viveu no século I a.C. e é considerado,
até hoje, um dos maiores estrategistas da História. Em seu legado, deixou
anotações que se transformaram no célebre livro A Arte da Guerra. Todo seu
discurso discorre sobre estratégias militares ditas infalíveis para a vitória e, apesar
de terem sido escritas especificamente para os generais conduzirem seus exércitos
nas guerras, as mesmas estratégias são amplamente utilizadas na atualidade pelas
organizações, adaptando-as para obter vantagens na acirrada concorrência
empresarial.
Sobre estratégia, Sun Tzu (2007, p.26) dizia que “Nos planos, jamais um
deslocamento inútil; na estratégia, jamais um passo em vão. O comandante hábil
assume uma posição tal que não pode sofrer nenhuma derrota; não negligencia
nenhuma circunstância que lhe garanta o controle do inimigo. ”
Todas as organizações que intencionam o sucesso, necessitam adotar uma
estratégia detalhada, com objetivos de curto e longo prazo que sejam desafiadores,
porém realizáveis. Para tal, é necessário que os funcionários da empresa entendam
esse plano com clareza e o cumpram com maestria. Somente assim a empresa irá
se destacar perante as outras.
Diante desse cenário competitivo, é preciso que as organizações entendam o
grande potencial que possuem ao implementar estratégias de Big Data. É de
30

extrema importância que as empresas, neste momento inicial, deem a devida


relevância ao termo e aproveitem-se das oportunidades criadas neste ambiente
atual em que o grande volume de dados pode ser utilizado a seu favor, permitindo
que conheçam melhor seus clientes, direcionem as vendas, reduzam os custos e,
até mesmo, criem um novo produto baseados nos dados coletados. No entanto, é
essencial aos gestores adotarem uma estratégia adequada capaz de permitir a
utilização ideal destes dados, evitando assim, gastos inúteis com projetos
infrutíferos. Entende-se, portanto, que o maior desafio não é tecnológico, mas sim
humano. (FEIJÓ, 2013 apud HENRIQUES; COSTA, 2014, p.4). Ignorar o Big Data é
perder espaço no mercado, ao mesmo tempo que, investir excessivamente sem
antes entender quais são os potenciais e limitações do Big Data é extremamente
prejudicial ao negócio. (TAURION, 2013b). A empresa precisa, antes de traçar sua
estratégia, entender qual seu objetivo com o Big Data e quais perguntas pretende
responder com sua utilização.
Taurion (2013a) afirma que muitas empresas implementam iniciativas de Big
Data sem, primeiramente, definir uma estratégia que os oriente. O autor alerta que
Big Data vai além de adquirir pacotes de tecnologias, mas, mais importante, significa
uma nova forma de explorar e utilizar o exorbitante volume de dados existentes
dentro e fora das empresas. “Big Data embute transformações em processos de
negócios, fontes de dados, infraestrutura de tecnologia, capacitações e mesmo
mudanças organizacionais na empresa e em TI”. (TAURION, 2013a, não paginado).
As organizações devem aproveitar-se do Big Data para coletar dados
relevantes que sejam úteis a estratégia de seu negócio, utilizando estas informações
para melhorar um produto, melhorar uma estratégia de marketing, diminuir gastos e
o desperdício de recursos e destacar-se perante seus concorrentes ao disponibilizar
um serviço que satisfaça seu cliente. (MAGALHÃES et al., [2014]).
Entretanto, as empresas devem focar-se em explorar somente o que
precisam. “Há muita água no oceano, mas você não consegue beber tudo isso. E
também reconheça o que é “bom saber” versus o que você “precisa saber”.
(HARVARD BUSINESS REVIEW, 2013, p.9).
Grande parte das empresas ainda não tomou conhecimento sobre as imensas
vantagens que uma exploração eficiente do Big Data pode acarretar, não
31

implementando assim projetos voltados à exploração de dados em suas estratégias


ou não dispondo a devida atenção que deveriam à potencialidade do Big Data.
A Harvard Business Review realizou uma pesquisa em 2013, com 951
leitores em que a maioria relatou conhecer o conceito de Big Data, mas que apenas
28% o utilizava em suas organizações “[...] para tomar decisões melhores ou criar
novas oportunidades de negócios”. Somente 23% afirmaram utilizar uma estratégia
para Big Data, 6% concordaram com “Minha organização considerou o impacto do
big data nas funções-chave da empresa” e apenas 3% disseram que “Minha
organização sabe como utilizar big data em nosso negócio”. (HARVARD BUSINESS
REVIEW, 2013, p.3). As figuras a seguir, ilustram essas afirmações.

Figura – Familiaridade com o conceito de Big Data

Fonte: HARVARD BUSINESS REVIEW (2013, p.3).


Figura – Uso atual e estratégia para Big Data
32

Fonte: HARVARD BUSINESS REVIEW (2013, p.3).

Figura – Atitudes das organizações com relação ao Big Data

Fonte: HARVARD BUSINESS REVIEW (2013, p.3).

“O ponto não é ficar deslumbrado com o volume de dados, mas sim analisa-
los – convertê-los em conhecimento, inovações e valor de negócio. O mesmo estudo
sugere que apenas 1% dos 2,8 zettabytes é analisada de alguma maneira”.
(HARVARD BUSINESS REVIEW, 2013, p.4). Sendo assim, a análise do Big Data
33

ainda passará por muitas transformações até que todo seu potencial seja utilizado
pelas organizações.
Davenport (2014, p.57) afirma: Antes de mais nada, vocês precisam parar de
pensar em como o big data se encaixa no seu negócio [...] No entanto, o passo mais
importante é decidir-se por uma estratégia específica para o big data. A sua equipe
de administração sênior precisa se reunir para começar a falar sobre o que big data
pode fazer pela empresa e quais das vastas possibilidades vocês pretendem
explorar. Esse processo deve começar com uma reflexão ponderada sobre os
objetivos que vocês visam atingir com o big data. (Davenport, 2014, p.57).
A revolução nas estratégias empresariais está apenas no começo e ela se
dará não somente nos processos de gestão e tecnologia, mas na empresa como um
todo, desde suas orientações básicas à cultura das organizações. “Nós
simplesmente não podemos pensar nos negócios da mesma forma agora que temos
esse novo recurso. ” (HARVARD BUSINESS REVIEW, 2013, p.5).
Taurion (2013a, não paginado) alerta em seu livro que “A questão não é mais
se vou ou não adotar Big Data, mas quando e com que estratégia adotarei. ”

Big Data e vantagem competitiva

Vantagem competitiva está atrelada diretamente com estratégia e pode ser


entendida como o desempenho superior das empresas sobre seus concorrentes,
porém seu conceito ainda é bastante amplo e discutido. (VASCONCELOS; BRITO,
2004, p.52).
A vantagem competitiva pode ser vista como o objetivo das ações da
empresa, pode ser usada para explicar a diversidade entre as empresas, pode ser
vista como o objetivo final da função corporativa e, finalmente, pode explicar o
sucesso ou fracasso na competição internacional. (VASCONCELOS; BRITO, 2004,
p.52).
Existem duas teorias principais que embasam as definições de vantagem
competitiva, a visão baseada em recursos, que afirma serem os recursos internos da
empresa os fatores determinantes para gerar lucro econômico; e as teorias de
posicionamento estratégicos, que combinam as vantagens de possuir recursos
34

específicos com posições privilegiadas de mercado. (VASCONCELOS; BRITO,


2004, p.52).
Vasconcelos e Cyrino (2000, p.20) definem vantagem competitiva como “[...]
a ocorrência de níveis de performance econômica acima da média de mercado em
função das estratégias adotadas pelas firmas”.
Um dos primeiros autores a definir o termo foi Ansoff (1965, p.188-194 apud
VASCONCELOS; BRITO, 2004, p.52) afirmando que vantagem competitiva se trata
da “[...] vantagem de perceber, de forma pró-ativa, tendências de mercado à frente
dos concorrentes e de ajustar a oferta em função dessa antecipação”.
Porter (1985) conceitua como “[...] a medida de sucesso da estratégia”. O
autor afirma que “Uma empresa conquistaria uma vantagem competitiva executando
as atividades estrategicamente mais importantes da cadeia de valor de forma mais
barata ou melhor do que a concorrência”. (PORTER apud VASCONCELOS; BRITO,
2004, p.53).
Barney (1991) amplia a conceituação de vantagem competitiva e diz que as
empresas devem buscar a vantagem competitiva sustentável, ou seja, duradoura.
Para tal, ele define que a empresa deve possuir quatro atributos:
1. Valioso: Para ser considerado um recurso é necessário possuir valor
para a empresa e para o mercado;
2. Raro: Muitas empresas podem ter recursos valiosos, mas eles só
significarão vantagem competitiva caso sejam raros entre seus competidores;
3. Inimitável: O recurso deve ser difícil de imitar por parte de seus
competidores, para que garanta a vantagem competitiva sustentável;
4. Sem substitutos: Os competidores não devem possuir substitutos
estratégicos equivalentes para este recurso que é valioso, raro e não imitável.
Quando as empresas optam por utilizar o Big Data para compreender melhor
o que pensam e o que fazem seus clientes, direcionando desta forma seus produtos
e serviços para atender suas necessidades, ela está criando valor de forma
diferenciada de seus concorrentes.
“Com a tecnologia de Big Data, as organizações podem melhorar suas
operações, oferecer melhores produtos, desenvolver relacionamentos mais
35

profundos com os clientes e se transformar em organizações mais ágeis e preditivas,


distanciando-se dos concorrentes”. (HENRIQUES; COSTA, 2014, p.10).
Deve-se entender, no entanto, que o diferencial não está em investir em
novas tecnologias, já que as mesmas estarão disponíveis a todos, mas sim “[...] na
sofisticação e maturidade da gestão da empresa”. (TAURION, 2013b, p.6).
As empresas também precisam adaptar-se em relação a mitigação de riscos.
Com o Big Data, minimizar os riscos de forma rápida e ativa, assim que
identificados, torna-se essencial para alcançar vantagem competitiva. Investir em
soluções de Big Data é uma maneira de minimizar consideravelmente os riscos
(HARVARD BUSINESS REVIEW, 2013, p.10-11). Sabendo o valor das informações
armazenadas e analisadas, as empresas podem prevenir-se e evitar o desperdício.
(TAURION, 2013a).
A informação sempre foi, e sempre será, um dos ativos de maior importância
para uma organização. No entanto, até então, a informação não possuía diretamente
valor monetário. Pensando nisso, a Gartner, uma das maiores empresas de
pesquisa em tecnologia da informação e consultoria, criou um modelo econômico
chamado Infonomics que tem como objetivo “[...] mensurar e avaliar a significância
econômica das informações que uma empresa possui, de modo que estas
informações possam ser valorizadas monetária e contabilmente”. (TAURION, 2013a,
não paginado).
Para obter vantagem competitiva, as organizações devem investir em
descoberta e experimentação com dados. É preciso ser ágil e flexível, explorar
fontes de dados novas e existentes, procurando padrões, eventos e oportunidades
em um ritmo constante. “As empresas que conseguirem analisar e se adaptar
rapidamente, usando dados a partir de fontes internas e externas, serão claramente
as vencedoras”. (HARVARD BUSINESS REVIEW, 2013, p.5-6).

Big Data e processo decisório


“Decisões são a moeda corrente no mundo dos negócios. Cada êxito, cada
infortúnio, cada oportunidade aproveitada ou perdida é o resultado de uma decisão
que alguém tomou – ou deixou de tomar”. (HARVARD BUSINESS REVIEW, 2008,
p.2).
36

Decisão é a escolha de uma dentre várias alternativas propostas para a


resolução de um problema cujo objetivo é transformar a situação atual real em uma
situação futura desejada. “Assim, a tomada de decisão, pode ser representada pelo
processo de escolha entre os diversos cursos de ação para resolver um problema”.
(PORTO, 2004, p.33).
Tomar as decisões corretas, de maneira rápida e eficaz, e executá-las com
primor é o fator primordial para o sucesso de qualquer organização. “Não importa
em qual setor você opere, quão grande e bem conhecida seja a sua empresa nem
quão engenhosa a estratégia pareça”, se houver falhas no processo decisório, todo
o esforço feito no planejamento será em vão. (HARVARD BUSINESS REVIEW,
2008, p.2).
De acordo com Bazerman (2004, p.4-5), em um processo racional de tomada
de decisão, deve-se seguir seis etapas: Definir o problema, identificar os critérios,
ponderar os critérios, gerar alternativas, classificar cada alternativa segundo cada
critério e identificar a solução ótima. Esse processo racional indicaria aos gestores
qual a melhor solução possível a ser seguida. No entanto, um dos fatores mais
importantes para que este modelo seja implementado com sucesso é o acesso ao
maior número possível de informações relativas aos critérios identificados.
Podemos então inferir a importância do Big Data no processo decisório das
empresas. O volume de dados gerados, coletados, em sua maioria, externamente à
organização, é fonte quase infindável de informações futuras que podem auxiliar os
gestores a identificarem as soluções ótimas.
De acordo com uma pesquisa realizada por Erik Brynjolfsson, economista da
Sloan School of Management do Massachussetts Institute of Technology (MIT) nos
Estados Unidos, as empresas que optam pela tomada de decisão com base em
dados obtêm um aumento de cinco a seis por cento em produtividade.
(HENRIQUES; COSTA, 2014, p.7).
Ressalta-se a importância da qualidade e veracidade dos dados coletados
que serão utilizados, posteriormente, na tomada de decisão, pois a informação só é
eficaz quando atende às necessidades do consumidor desta informação. “Quanto
melhor a qualidade do dado, melhores serão as decisões com base no dado, criando
valores para a empresa” (HENRIQUES; COSTA, 2014, p.6).
37

O Big Data deve ser aproveitado pelas empresas por sua capacidade de
interconectar à informação que aparece dispersa em diferentes sistemas em um
único sistema central. Agregando estes dados presentes em diferentes formatos, as
organizações podem melhorar sua capacidade de decisão e, consequentemente, a
performance da empresa como um todo. (UNIVERSITY ALLIANCE, [20--]).
Breternitz e Silva (2013, p.20) afirmam que a ideia central do Big Data é sua
utilização na tomada de decisões, sendo assim, as organizações devem preparar-
se, implementando sistemas automatizados que permitam extrair respostas rápidas
e ágeis com relação às informações dos clientes (HARVARD BUSINESS REVIEW,
2013, p.1), pois cada vez mais as decisões deverão ser tomadas “[...] baseadas em
dados e rápidas experimentações e não mais em intuição e estimativas”. (HARVARD
BUSINESS REVIEW, 2013, p.3).
Há algum tempo, as empresas vêm utilizando análises de dados para auxiliar
no processo decisório. No entanto, com o surgimento do Big Data, algumas
estruturas internas precisarão passar por mudanças. Tradicionalmente, um analista
separaria alguns dados e o analisaria, criando um modelo que oriente o gestor para
tomada de decisão baseada nos resultados obtidos. Porém, com o Big Data, os
dados possuem um fluxo contínuo e rápido que necessitam uma análise constante
com resultados sempre atualizados, para que, desta forma, possam auxiliar nas
decisões em tempo real. (DAVENPORT, 2014, p.16).
Os gestores e tomadores de decisão podem obter grandes benefícios com a
utilização do Big Data, tornando as decisões cada vez menos intuitivas e cada vez
mais baseadas em fatos. Davenport (2014, p.67) afirma “A inteligência competitiva e
de mercado costumava ser um exercício bastante intuitivo, mas o big data está
começando a mudar essa abordagem. Se vocês puderem obter dados mais
detalhados e fazer uma análise mais sistemática desses dados, o resultado
provavelmente será decisões estratégicas”.

Big Data: Ferramentas e Aplicabilidade

A quantidade de dados gerados pela humanidade nos últimos anos aumentou


de forma exponencial. Segundo uma pesquisa recente (IBM, 2013), no ano 2000,
38

25%(vinte e cinco por cento) dos dados eram digitalizados, no ano de 2007, esse
numero saltou para 93% (noventa e três por cento), e no ano de 2013, foi para 98%
(noventa e oito por cento). Esse crescimento, devido principalmente a fatores como
aumento do acesso a dispositivos eletrônicos e a popularização da internet, está
gerando uma revolução no tratamento de dados.
A aplicabilidade do Big Data está no tratamento desse volume de dados, que
vem de variadas fontes e que demandam alta velocidade de processamento, na
busca por um valor (Taurion, 2013).
Esse valor, obtido através de correlações entre dados, pode se dar através de
descoberta de padrões, preferências de usuários, aumento no número de vendas
em determinada época do ano, descoberta de cura de doenças, entre diversos
outros
Por ser um assunto relativamente novo, muitos artigos que mencionam o
tema, o fazem de maneira conceitual e sem abranger alguns detalhes, que vão além
de conceitos pontuais. A parte prática de Big Data é um ponto importante a ser
mencionado para um maior entendimento.

SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS

O gerenciamento de informações há tempos é um conceito adotado em


corporações que desejam aperfeiçoar seus processos através de métricas de
recolhimento e tratamento de dados.
A diferença no processamento de dados de modelos tradicionais (SQL) para
modelos de Big Data Analytics, começa pela diferença entre escalabilidade vertical e
horizontal.
Na escalabilidade vertical, usada em sistemas SQL, para poder ter um melhor
poder de processamento, investe-se em máquinas com tecnologias mais avançadas
e consequentemente mais caras, assim aprimorando o processamento dos dados.
Na escalabilidade horizontal, usa-se computação paralela em que maquinas de nível
intermediário “commodities”, que são usadas em conjunto para processar uma
quantidade de dados que apenas uma delas seria incapaz de processar, assim,
39

reduzindo custos e possibilitando o processamento de grandes volumes de dados.


(Coelho, 2004).
Nos modelos tradicionais, o conceito de Business Intelligence, que em
síntese, é uma técnica de gerenciamento de negócios orientado à análise de
informações, com o intuito de conhecer fatos que afetam positiva ou negativamente
o negócio, sendo um forte auxiliar nas tomadas de decisões.
A ferramenta ETL (Extração, Transformação e Carregamento), seguindo o
princípio do Business Intelligence, é uma tecnologia usada em muitas corporações,
e que faz a coleta de dados de todos os tipos e formatos, transforma-os, através de
algoritmos, aplicando princípios de correlações entre esses dados e carrega-os em
um ambiente de visualização, em que administradores da alta gerência, podem
visualizá-los, podendo extrair informações que os permitirão ações de melhoria nos
processos organizacionais.
No processo de análise de informações, a ferramenta OLAP (Processo
analítico online), auxilia na tomada de decisões através de cubos multidimensionais
que oferecem diferentes perspectivas sobre informações da empresa como regiões
e períodos em que determinados produtos são mais vendidos, padrões de consumo
dos clientes, entre outras analises. (Intel, 2016);
A quantidade de dispositivos somada aos diversos formatos de arquivos, e a
necessidade de extrair de valor dos mesmos, mostrou a limitação dos modelos
relacionais, que serviam bem para o tratamento de dados estruturados, mas não
possibilitavam o tratamento de dados semiestruturados ou não estruturados. Esse
motivo foi um dos principais motivadores da busca de ferramentas NOSQL, que
trabalham com bancos de dados não relacionais. Além da maior quantidade de
dados, sistemas NOSQL são preparados para trabalhar em sistemas instáveis em
relação aos modelos RMDBS (Sistema de gestão de Bancos de dados Relacionais),
tendo um processamento mais complexo. Ainda no modelo NOSQL, os dados
oriundos de diversos dispositivos desde aparelhos móbiles até servidores, são
replicados em clusters onde são processados através de ferramentas Analytics, e
posteriormente visualizados através de gráficos, dashboards, entre outras
ferramentas de análise, tal qual no modelo ETL, também usado nos modelos
relacionais. O processo conhecido como retroalimentação, em que dados já
40

processados são novamente usados em um segundo processamento contribui para


manter informações atualizadas e confiáveis. (Intel, 2015)

PROPRIEDADES ACID E CAP

Essas estruturas definem o comportamento da base de dados. Nos modelos


relacionais, busca-se manter as propriedades Acid (Atomicidade, Consistência,
Isolamento e Durabilidade. No entanto em modelos não relacionais, onde o fluxo de
dados é maior, torna-se impossível mantê-las, surgindo então as propriedades Cap
(Consistency, Availability e Partition Tolerance). Sendo possível escolher apenas
duas, a corporação deverá escolher se prefere um sistema sempre disponível,
tolerante a falhas, ou consistente, em que todos os usuários terão a mesma
informação ao mesmo tempo. Em redes sociais como Facebook, por exemplo, o
tempo de visualização pode ser diferente entre usuários, portanto, a consistência
pode ser colocada em segundo plano em detrimento da disponibilidade e tolerância
a falhas. Já em lojas de comercio eletrônico como a Amazon, abrir mão da
consistência, pode implicar vender produtos com estoque esgotado aos clientes,
gerando atrasos, cancelamentos e prejudicando a imagem da empresa, então deve-
se abrir mão da tolerância a falhas ou disponibilidade, para manter o sistema sempre
consistente a todos os usuários. (Intel,2015)
Ao anular as propriedades Acid, os sistemas obterão as propriedades Base:

1) Basically Avaliable: Dados serão replicados e serão sempre consistentes;


2) Soft State: Dados inconsistentes serão tratados posteriormente;
3) Eventually Consistent: Garante a consistência em algum momento.

Existe um conceito, ainda novo no mercado que trata sobre modelos NewSql,
os quais mantém o modelo ACID ao mesmo tempo que buscam manter o
rendimento de banco de dados NOSQL, os quais com o decorrer dos anos, devem
ser aprimorados até se tornarem padrões, melhorando assim a todos os pontos do
sistema, sem que seja necessário abdicar de nenhum, como ocorre no modelo CAP.
(Intel,2015)
41

A seguir apresenta-se a imagem ilustrativa da propriedade CAP, com e o


exemplo de bancos de dados NoSQL como Cassandra, CouchDB e Riak que são
tolerantes a falhas e sempre disponíveis, e bancos de dados Nosql como MongoDB,
Hbase e BigTable, que são consistentes e tolerantes a falhas.

Figura: Exemplo do CAP, demonstrando a impossibilidade de se obter as três


propriedades. RamaNathan(2014)

FERRAMENTAS

AMBIENTES EM NUVEM

A computação em nuvens (Cloud Computing) é uma grande aliada no uso de


ferramentas de big data. A queda no preço de armazenamento ao longo dos anos,
aliada à elasticidade que ambientes em nuvem oferecem facilitam o acesso a esses
serviços até mesmo para corporações que não tem muito dinheiro para investir.
Diferentemente de mainframes que custam pra empresa um valor considerável, e
42

muitas vezes não é utilizado completamente, os ambientes em nuvem permitem o


pagamento por hora e somente cobram pela quantidade de informação necessitada
pela empresa. A escalabilidade permite que as configurações de nuvem, quanto ao
número de visitas ao sistema, desempenho, processamento dos dados entre outros,
seja aumentada somente quando a empresa realmente necessite disso, como em
épocas em que as vendas aumentam, Natal e Black Friday, por exemplo, e
posteriormente volte a operar com menos servidores, evitando gastos
desnecessários com servidores que seriam usados apenas em um período do ano.
(CPBR6, 2013)

HDFS
O Hadoop Distributed File System ou Sistema de arquivos distribuídos surge
com a necessidade de se trabalhar com arquivos grandes. O HDFS faz a quebra em
blocos desses arquivos e os distribui em diversos nós (máquinas), com replicação
em grau três como segurança no caso de um nó falhar. O Name Node é a máquina
responsável pelo gerenciamento dos outros nós, e envia informações (Heartbeats)
para o código, em caso de um nó falhar, além fazer a redistribuição dos blocos de
dados quando houver falha, sempre mantendo grau três. (Paiva, 2016)

YARN
É um gerenciador de recursos distribuídos do cluster. Através do Resource
Manager, realiza a locação de recursos nos nós do cluster para a realização de
tarefas das aplicações. Dessa maneira, cada aplicação sabe em que maquina os
seus recursos estão alocados, e mantém o princípio da localidade, que é realizar o
processamento do código onde estão os dados. (Yarn, 2016)

MAP REDUCE
É o sistema analítico do Hadoop desenvolvido para operar com grandes
volumes de dados. Segue o princípio da localidade em que o código é enviado para
o local onde os dados estão para ser processado. O processamento analítico é
distribuído em vários servidores, dos quais se deseja tirar informação. Através de um
processamento paralelo/distribuído, os dados são divididos em partições ou ficheiros
43

através da função Split. Nesse processo, o Map reduce monta a separação dos
dados em partições, mapeia as atividades em cada local e duplica em ambientes e
depois faz as reduções. Durante o mapeamento através do processamento em cada
nó da partição ou cluster, são formados pares valor chave enviados ao redutor,
agrupando pares com as mesmas características. Basicamente são três fazes, a
saber: Map, onde todos os dados são reunidos; Shuffle, onde os dados são reunidos
e organizados e Reduce, onde os dados são associados e correlacionados. Nem
todos os algoritmos se encaixam nesse modelo. (Paiva, 2016)

HADOOP
É a ferramenta mais importante de Big Data. Através de nós de clusters usa
computação distribuída com alta escalabilidade, tolerância a falhas e confiabilidade.
Sendo uma plataforma Java de computação, ela é voltada para clusters e
processamento de grande volume de dados A ideia principal do Hadoop é tratar essa
grandes quantidades de dados sem ter a necessidade de copiar esses dados em
outro servidor, o que ocasionaria mais tempo e investimento. No processo Hadoop,
os dados são tratados dentro dos servidores e em tempo real, gerando mais
praticidade no processamento e economicidade de tempo e dinheiro. Busca manter
a redundância e tolerância a falhas através da replicação dos dados, assim, se
houver falha em um dos clusters (rodapé), haverá outro disponível para manter o
processamento, além de poder executar um algoritmo, em qualquer uma das
partições ou clusters, sendo esse algoritmo disseminado em outros nós de clusters,
o que simplifica o processo e deixa o sistema mais rápido. É formado basicamente
pelo framework Map Reduce, pelo gerenciador de recursos distribuídos (YARN) e
pelo sistema de arquivos distribuídos (HDFS). (Intel, 2016)

MPP
Massively Parallel Processing ou processamento massivo paralelo, é um
paradigma de Big Data, feito para processar grandes quantidades de informações, é
escalável em relação a quantidade de dados, e suporta linguagem SQL e tabelas
relacionais, sua diferença quanto ao Hadoop reside no fato de que é um paradigma
de estrutura rígida, e não permite trabalhar com imagens ou documentos de texto.
44

Pode trabalhar em conjunto com Data Warehouse, fazendo operações paralelas.


(Big Data Now, 2013).

HBASE
É um banco de dados Nosql que processa grandes volumes de dados de
maneira rápida e em tempo real. Trabalha com o conceito chave – valor, em que
cada dado é associado a outro trazendo uma característica similar ao modelo
relacional com sua organização se dando em linhas, colunas, tabelas e famílias de
colunas. No entanto não há a obrigatoriedade de esquemas, como ocorre no modelo
SQL, portanto pode haver linhas sem determinadas colunas e vice-versa. Nesse
modelo, diferentemente do SQL, os dados não são alterados, apenas somados,
podendo haver várias versões sobre determinada chave ou valor. (Paiva, 2016)
/(CPBR6, 2013)

SPARK
Ferramenta de processamento de dados que roda até 100 vezes mais rápido
que o Map Reduce. Como o Map reduce não processa bem todos os algoritmos, o
Spark atua sendo mais abrangente na questão de diferentes tipos de
processamento. Também executa o código em paralelo. Sua principal diferença em
relação ao Map Reduce é o fato deste persistir em disco. O Spark trabalha em
memória, faz encadeamento de funções e só apresenta o resultado no fim do
processamento. O driver, aplicação principal do Spark, faz alocação maquinas no
cluster para processamento de funções. Pode trabalhar tanto com o paradigma SQL
quanto o NOSQL. (Paiva, 2016)

MACHINE LEARNING
Machine Learning é o termo que designa o processo de ensinamento da
máquina a “entender” dados que a princípio parecem não fazer sentido, processá-los
e tirar algum valor disso. Pode-se usar machine learning, por exemplo, em redes
sociais, posts ou tuites, com expressões diferentes das formais, por exemplo: “Pato
passa em branco no jogo do tricolor”, usam-se algoritmos para que a máquina
entenda que “Pato” não é um animal e sim um jogador de futebol, “passar em
45

branco” significa não fazer gol e “tricolor” significa um time de futebol, nesse caso,
pode-se medir o nível de satisfação dos torcedores em relação ao time, ou em casos
parecidos, o nível de satisfação de clientes em relação a uma empresa, através do
que eles postam nas redes sociais. Algoritmos de machine learning auxiliam
principalmente a transformar dados que a princípio seriam não estruturados, em
dados estruturados.
Outra forma de usar machine learning é através de computação cognitiva, e
biometria. Com base no comportamento de um indivíduo em frente ao caixa
eletrônico, usa-se uma tecnologia kinect, que mapeia regiões do corpo do suspeito,
e através de algoritmos de inteligência artificial, é possível reconhecer o perfil
comportamental de um bandido ou fraudador de cartões, passando à segurança do
local essas informações, pode-se melhorar a segurança do local. (Nogare, 2014)
46

REFERÊNCIAS

CPBR6 – Big Data e computação em nuvem, 2013 ; disponível em:


https://www.youtube.com/watch?v=dOR3hGS_IZI
INTEL. Curso Big Data. 2015
Disponível em: dialogoti.intel.com/pt-br/curso/big-data
KM E CANAL MAIS BIG DATA - Les nouveaux devins – Documentaire,2015
Disponível em: https://www.youtube.com/watch?v=5mmQeb8mXVk
NOGARE, D. Conceitos e Ferramentas de Big Data, 2015
Disponível em: https://www.youtube.com/watch?v=ByHJTRyP4_A
O’ REILLY MEDIA. Big Data Now Edição 2013
COELHO, O. P. Arquitetura: Princípios para alcançar Desempenho e
escalabilidade em Aplicações,2004
Disponível em : https://msdn.microsoft.com/pt-br/library/cc518051.aspx
PAIVA, R. Curso de Big Data - Aula 2 - Principais Ferramentas (Hadoop,
HBase e Spark),2016
Disponível em: https://www.youtube.com/watch?v=CjRkEywm1go
PAULA, R. Big Data, CSI Miami e por que eu ainda prefiro Law and Order,
2013
Disponível em : https://www.youtube.com/watch?v=Qvnq8j5qd4E
RAMANATHAN, S. Lambda Architecture for Big Data – Quick peek.2014
Disponível em:
http://blogs.perficient.com/dataanalytics/2014/12/10/lambda-architecture-for-
big-data-quickpeek/
Revista Exame. 5 coisas que o big data faz pela sua saúde. 2015
Disponível em : http://exame.abril.com.br/publicidade/dell/5-coisas-que-o-big-
data-faz-pela-sua-saude
REVISTA VEJA. Edição 2321 – Entenda o que é Big Data,2013
SANTANCHÈ, A. - NoSQL e Big Data - Aula 27 - Bancos de Dados 2015.2
SOFTWARE INTE. Extract, Transformation and Load Big Data with Apache
Hadoop,2016 TAURION, C. Big Data. Brasport.2013 YARN – Hadoop beyond
MapReduce; 2016.
47

Você também pode gostar

pFad - Phonifier reborn

Pfad - The Proxy pFad of © 2024 Garber Painting. All rights reserved.

Note: This service is not intended for secure transactions such as banking, social media, email, or purchasing. Use at your own risk. We assume no liability whatsoever for broken pages.


Alternative Proxies:

Alternative Proxy

pFad Proxy

pFad v3 Proxy

pFad v4 Proxy