Você sabe extrair informações de dados?

O Fórum Mundial Econômico estima que até 2020 a quantidade total de dados digitais no mundo será de 44 zettabytes (2⁷⁰ bytes), esse número é 40 vezes maior que a quantidade de estrelas no universo observável — região do universo que contém toda a matéria que pode ser observada do nosso planeta no tempo presente.

A quantidade de dados disponíveis torna inviável a extração de informações sem a ação de computadores. Apenas com a capacidade laboral humana, não concluiríamos essa tarefa em tempo hábil, ainda que alocássemos a população mundial inteira em um mesmo esforço. No primeiro vídeo da nossa série sobre análise de dados, no canal Programação Dinâmica, eu explico a diferença entre dado e informação e também apresento algumas fontes de dados, tema que quero debater um pouco mais com você neste artigo.

"Dado sem informação pode perder o seu sentido"

De onde vem todos esses dados?

Redes sociais, sites e serviços online diversos são uma fonte abundante e constante de dados. Nossos dados são coletados o tempo todo em que estamos usando nossos computadores e smartphones. Isso não é pouca coisa! No mundo, a quantidade de usuários de smartphones já bateu a marca de 5 bilhões de pessoas. Soa como"Black Mirror" para você? Para mim, sim!

Fonte: Reddit — Zuckerberg is Ash confirmed?

Bom, esse tópico remete a muitas discussões importantes e urgentes, entre elas, segurança e privacidade certamente ocupam o topo das prioridades, mas essa conversa deixaremos para um outro momento.

Fontes de dados: Onde podemos encontrar conjuntos de dados?

No vídeo, eu apresento alguns sites que disponibilizam conjuntos de dados ou datasets, do inglês, como são comumente chamados. Aqueles são sites de dados abertos, ou seja, sites que disponibilizam dados para serem usados e redistribuídos livremente, por qualquer um, para qualquer propósito.

Os portais de dados abertos são altamente recomendados para estudos, pois são dados cujo uso é oficialmente permitido, o que significa que não houve nenhuma privacidade invadida ou norma infringida para sua obtenção. Além disso esse portais, a exemplo do Portal Brasileiro de Dados Abertos, geralmente, seguem um padrão de disponibilização de dados, onde encontramos não só os dados como seu dicionário e outras informações que facilitam o seu tratamento. Como menciono no vídeo, dado sem informação pode perder o seu sentido.

O oposto dos dados abertos seriam dados "fechados" ou privados os quais não podem ser usados e redistribuídos livremente e ainda, podem possuir normas de preservação de sua privacidade. Alguns desses tipos podem ser utilizados com licenças restritas gratuitamente ou com licenças mais livres mediante pagamento.

Além de se diferenciarem quanto ao uso e redistribuição, os conjuntos de dados podem se diferenciar pelo formato em duas categorias principais: estruturados e não-estruturados.

Os dados estruturados são aqueles que possuem um formato padronizado para fornecer informações sobre uma página e classificar o conteúdo dela, como exemplo, citar Excel, CSV, Json e XML. Já os dados não-estruturados não possuem uma formatação pré-determinada, podem ser dados coletados da internet, tweets, comentários em redes sociais, enfim, dados diversos extraídos de fontes que não possuem uma estrutura. Decorre disso que o tratamento adequado desses dados irá exigir sua prévia estruturação.

Ansioso para colocar a mão na massa? Sugiro explorar alguns sites como o Portal Brasileiro de Dados Abertos para conhecer o tipos de conjuntos de dados que você pode ter acesso facilmente. No vídeo, eu selecionei os microdados sobre o Exame Nacional do Ensino Médio (ENEM) para que a gente realize futuras análises.

Se você concorda que informação é poder, clique aqui para se tornar mais poderoso!

Quer aprender a programar em Python do Jeito Certo? Desenvolva uma base fundamental para se tornar capaz de pensar e criar soluções para problemas escrevendo código no Curso Python do Jeito Certo: https://vai.pgdinamica.com/pjc-dados

Confira também: Mãos à obra: Visualização de Dados em Python: https://vai.pgdinamica.com/dataviz-ds