Está na hora de alavancar sua carreira em Dados

Apresentação da ementa detalhada Meios de acesso para duvidas Hackathon Dúvidas gerais Introdução à jornada de Ciência de Dados e Engenharia de Dados

Glossário da Matemática Teoria Elementar dos Conjuntos Sequências Elementares Funções Funções Elementares Matrizes Hands-On: Fixação de Conteúdo

Ramos da Estatística Variáveis Estatísticas Medidas Estatística Descritiva Hands-on: Fixação de Conteúdo

Algoritmos Gaveta de Dados Dados e Instruções Controle de Fluxo Arrays (Vetores e Matrizes) Modularização Procedimento x Função Hand-on: Fixação de Conteúdo

História dos Sistemas Operacionais Principais Conceitos Software x Hardware Linguagem Binária Portas Lógicas Linguagem de Baixo e Alto Nível Virtualização de S.O. Cloud Computing e casos de Uso Emulação Docker x Kubernets Linux no Windows Criando e Conectando uma Máquina Virtual na AWS

Introdução ao SQL Variações do SQL Tipos de linguagem ( DDL , DML , DQL , DTL , DCL ) Primeiras consultas Tipos de dados Ordenação Principais operadores Filtros Agregações Criação de Databases / Tabelas CRUD Chaves primárias / Chaves estrangeiras ( PK , FK ) Combinando tabelas (Joins) Empilhando tabelas (Union x Union All) Estrutura Case When Subconsultas ( Subqueries ) Common Table Expressions ( CTE ) Funções gerais Funções de Janelamento Ordem de Execução / Criação de consultas Hands-On: Exercícios de Fixação de Conteúdo

O que é PySpark? SparkContext SparkSession Spark Dataframe RDD Operações importantes Spark SQL Tabelas Views UDFs Importação, Exportação, Leitura, Escrita Otimizações Monitoramento de jobs com Spark UI e GANGLIA (EMR)

O que é Python? Aplicações Popularidade Preparando o Ambiente Python Puro X Anaconda Sintaxe básica Operadores matemáticos Declaração de variáveis Tipos de dados Operadores lógicos Listas Tuplas Dicionários Pacotes Built-in Estruturas condicionais Estruturas de repetição Funções Função lambda Tratamento de Exceções Matplotlib Seaborn Plotly Pandas Leitura / Escrita Ambientes virtuais Instalação de pacotes Requirements.txt Argumentos Hands-On: Exercício de Fixação de Conteúdo

Arquitetura Hadoop Spark Monitoramento do Ambiente Estrutura de Cluster Principais aplicativos para Ecossistema Hadoop/Spark

Introdução à Computação em Nuvem Serviços para Dados: S3, EMR, RedShift, Athena, RDS e Lambda Serviços para Analytics: EMR (JupyterHub) e SageMaker Orquestração e Monitoramento: CloudWatch, Lambda Segurança: Secrets, KMS Escalabilidade: Load Balancer Automação Desenho de Arquitetura Big Data & Analytics: Exemplo de um data lake com uso de big data e analytics sendo feito pelo EMR (JupyterHub) e SageMaker Custos: Montar uma calculadora simples para estimar custos de um lake

O que é Web Scraping? Web Scraping X Web Crawling Aplicações Ferramentas mais utilizadas Web Scraping é ilegal ? HTML Básico Requests - Introdução BeautifulSoup – Introdução Selenium Webdriver Encontrando elementos Interagindo ( comandos do teclado, Action Chains, Waits ) Trabalhando com Frames Executando Javascript Expressões Regulares ( REGEX ) User-Agents Extraindo dados de APIs Extraindo dados de PDFs Encontrando APIs ocultas Paralelisando as extrações Uso de Proxy Captchas Projeto : Extração de revisões de site de hotéis

História da evolução e uso dos dados Carreiras em Engenharia de Dados - Analista de BI - Administrador de Dados - DBA - Engenheiro de Dados Engenharia de Dados e Negócios - Áreas de Negócios das empresas x Uso de Dados - Democratização de dados para as área da empresa Fundamentos de Cloud Computing - Storage - Banco de Dados - Processamento - Orquestração - Observability Tipos de Dados Ferramentas para Engenharia de Dados - DBeaver - Pentaho - Metabase

Arquiteturas de Dados - Data Lake - Data warehouse - Data lakehouse - Data Mesh Processamento Distribuído e Paralelizado - Hadoop - Spark Desenvolvimento de ETL e ELT Sistemas transacionais Bancos de Dados Relacionais e SGBD Business Intelligence (BI) Feature Store - Compondo variáveis para BI - Compondo variáveis para Analytics (Análise e Ciência de Dados) Introdução a NoSQL Introdução a Grafos Automação e Orquestração de pipeline de dados Monitoramento de Dados Data Lineage Esteira Continuous Integration (CI)/ Continuous Delivery (CD) DataOps Arquitetura para Streaming de Dados Fundamentos de LGPD

A PoD Bank, uma startup do segmento financeiro, que concede crédito para população desbancarizada e/ou com pouca informação de crédito, está procurando dados alternativos que explicariam porque uma pessoa pagaria ou não financiamento imobiliário. Para isso, contratou um time de Engenheiros de Dados que seja capaz de conseguir atender a área de Business Intelligence para apresentar dados que ajudem na tomada de decisão. Os participantes possuem 1 mês para desenvolver as seguintes etapas no projeto: - Entendimento das necessidades do negócio - Entendimento dos dados - Preparação dos Dados - Desenho da Arquitetura - Desenvolvimento dos Indicadores de Negócio - Desenvolvimento de Dashboard - Desenvolvimento de Material Executivo com a Solução - Apresentação dos resultados para Banca composta por Gestores do Mercado

Conceitos básicos de estatística Medidas de tendência central e dispersão Gráficos estatísticos Análise descritiva e outliers Percentis e a frequência acumulada Análise exploratória Conceitos de amostragem Probabilidade - modelos de distribuição Noções de medidas de associação e correlação Processo de análise estatística - testes estatísticos Teste de hipótese paramétrico e não paramétrico Processo inferencial (Clássica e Bayesiana)

Teoria dos Conjuntos Vetores Matrizes Determinantes Logaritmo Introdução ao Cálculo numérico - Funções - Limites - Derivadas - Função Gradiente - Backpropagation

O que é ciência de dados Qual a diferença entre Analista de Dados e Cientista de Dados Qual é o papel de um cientista de dados em uma empresa ou organização Quais são as habilidades necessárias para se tornar um Analista de Dados e Cientista de Dados Quais são as principais ferramentas e tecnologias usadas pelos analistas e cientistas de dados Como é o mercado de trabalho para analistas e cientistas de dados Como é a remuneração média para profissionais de análise e ciência de dados Formação específica em áreas relacionadas para seguir essa carreira e outros pré requisitos Certificações prévias para se tornar um cientista de dados

O que são Negócios Como são as áreas de negócios nas empresas Segmentos de Negócios: - Financeiro (Análise de Dados para Crédito, Fraude e Cobrança) - Jurídico (Jurimetria) - Saúde (Análise de Dados de Prontuário, Classificações, Imagem) - CRM (Análise de Personas, Propensão à contratação de Produtos) - RH (People Analytics) - Varejo (Precificação, Análise e Projeção de Demanda, Projeção de Estoque, Otimização de Metas de Vendas) - Indústria (Análise de Dados para Predição de Falhas em Sistemas) Desafios de Negócios: - Aumento de Faturamento - Redução de Custos - Construção de cenários para tomada de decisão - Acompanhamento de Indicadores Problemas reais e possíveis soluções: -Concessão de Crédito -Análise de Limite de Cartão de Crédito -Avaliação de transações Fraudulentas -Otimização de Metas de Vendas -Criação de Personas para Oferta de produtos ou contratação de pessoas -Oferta de produto para clientes propensos à compra -Ordenação de pessoas ou itens para ações, por exemplo ação de cobrança -Análise de Churn (perda de clientes) Geração de valor nos Negócios: -Custos vs resultados Comunicação executiva -Apresentação dos resultados -Ancoragem de Valor do Projeto (para gestores) -Busca por Orçamento (para gestores) -Visibilidade ao Projeto e à Equipe (para gestores)

Excel e/ou Google Sheets Word e/ou Google Docs Power Point e/ou Google Apresentações Google Collab Anaconda GitHub Kaggle ChatGPT Google

Conceito de Tabela de Dados Consultas a tabelas de Bancos de Dados Exploração de dados com queries SQL Exploração de dados com Spark SQL Exploração de dados com Python

Escopo da Engenharia de Dados O que são Dados Tipos de Dados Fontes de Dados Conceitos de ETL (Extração Transformação e Carga) Arquiteturas de Dados mais utilizadas para Ciência de Dados: - Data Lake - Data Warehouse - Data Lakehouse - Data Mesh - Data Fabric - Feature Store Formatos de Dados e tipos de uso Como trabalhar com diferentes volumetrias de Dados Ferramentas para processamento de dados volumosos

Entendimento do Framework CRISP-DM Conceito de Tabela Analítica e Público de Estudo Explorando os dados - entendimento do Público de Estudo Análise Exploratória dos Dados Visões e insights de Negócio

Teste A/B Apresentação de resultados técnicos Apresentação de resultados de negócio Dashboard para apresentação de Resultados

Introdução ao Aprendizado de Máquina (Machine Learning) Preparação de Dados - Criando variáveis explicativas (ED) Conceito de variáveis agregadas a partir dos dados transacionais Conceito de variáveis com profundidade temporal Conceito de defasagem temporal dos dados Criação da variável resposta: - Crédito - Fraude - Cobrança - Churn - Propensão Preparação de Dados para análises e algoritmos de ML: - Conceito de Metadados - Normalizações - Padronizações - Analise de outliers - Análise da Cardinalidade - OneHot Encoding - Label Encoding - Target Encoding - WoE Encoding - Transformações de Variáveis - Linearidade com log da Odds (Regressão Logística) Categorização de Variáveis contínuas Análise de estabilidade temporal das variáveis categóricas (taxa de evento para target binário) Análise de ordenação das categorias por taxa de evento (target binário) Conceito de Feature Store Seleção de Variáveis: - Corte por % de Valores Nulos (Missings), - Variância, - Feature Importance, - Boruta, - Correlação de Pearson - Information Value (Target Binário) Redução de dimensionalidade - PCA: - Foco em Visualização de Dados - Foco em Seleção de Variáveis - Combinando PCA + IV para seleção de Variáveis (Target Binário)

Modelos Supervisionados - Problemas de Classificação Principais algoritmos: - Árvores de Decisão - Regressão Logística - Random Forest - LightGBM - XGBoost - CatBoost - KNN - Redes Neurais - MLP - SVM - Stacking e Blend de Modelos - AutoML com Pycaret

Modelos Supervisionados - Problemas de Regressão Principais algoritmos: - Árvores de Decisão - Regressão Linear Simples e Múltipla - Regressão Ridge, LASSO e Elastic Net - Random Forest - LightGBM - XGBoost - CatBoost - Redes Neurais - MLP - SVM - Stacking e Blend de Modelos - AutoML com Pycaret

Modelos Não Supervisionados - Problemas de Segmentação (Clustering) - K-Means - DBSCAN - Hierárquico (Agglomerative Clustering) - Mistura Gaussiana (Gaussian Mixture Model - GMM) - Spectral Clustering - AutoML com Pycaret

- Clássica: Média Móvel, ARIMA, SARIMA - Machine Learning (Algoritmos para Regressão) - Deep Learning: LSTM

Análise de Desempenho dos Modelos Análise de Estabilidade dos Modelos Análise de Aderência aos negócios

Exemplo de Arquitetura para Monitoramento de Modelos Indicadores para Monitoramento de Modelos Construção de Dashboard para Monitoramento de Modelos Estatísticos

Conceito do GitFlow Conceito DataOps e MLOps Organização de Equipes e Projetos Aplicabilidade MLOps para entregas em Machine Learning Monitormento de dados e modelos em produção Data and Models Pipeline MLOps Management (Validation, Data Rules, Data Quality, Model Quality, Versioning)

Web Scraping: Extração de Dados Públicos da Receita Federal Construindo um Data Lake: Para democratização de dados na empresa; Automações com Bot: Automações nos processos de engenharia de dados aplicado ao seu negócio; Streaming de Dados em Tempo Real: Construindo um ETL contínuo e dashboards em tempo real com arquitetura streaming. Análise de Crédito: Solução Tradicional e técnicas avançadas de Machine Learning; People Analytics para RH e CRM: Utilizando Machine Learning para encontrar Personas para seu negócio; Score Anti-Fraude: Utilizando técnicas avançadas de Machine Learning; Previsão de Demandas: Utilizando Machine Learning otimizar metas, orçamento, estoque e demandas do seu negócio; Criando Chatbot com GenAI: Processo completo de criação de um chatbot aplicado ao seu negócio

A PoD Bank, uma startup do segmento financeiro que concede crédito para população com pouca informação de crédito, ganhou mercado, maturidade e decidiu montar uma área de Ciência de Dados focada em Modelos de Crédito. A demanda é Desenvolver um modelo de crédito que tenha capacidade de gerar um score de risco para contratação de produtos de crédito. O Gestor de Crédito gostaria de ver uma análise de solução tradicional, utilizando regressão logística versus demais técnicas de ML. Etapas a serem desenvolvida no projeto: - Desenhar solução de Negócio - Mapear dados disponíveis - Estudar Público de Modelagem - Construir variáveis explicativas - Selecionar e estudar as variáveis - Análise do Target - Desenvolvimento dos Modelos considerando Tradicional vs Robustos - Avaliação dos Modelos - Discussão sobre Deployment - Monitoramento do Modelo - Análise de Negócio sobre uso do Modelo (foco em geração de valor ao negócio) - Análise de custos do projeto (Equipe, Infraestrutura, Dados) - Apresentação dos resultados para Banca composta por Gestores do Mercado

O poder do decidir

Como montar um portfólio de sucesso?

Montando um portfólio de sucesso Configurando um perfil de sucesso no Linkedin

100 Primeiros dias na empresa

Os pilares da alta performance

Comunicação Assertiva: Oratória e Apresentação

Ética e explicabilidade de algoritmos de machine learning, do ponto de vista jurídico. O que está por vir ? Como devemos estruturar nossos processos para suportar esta demanda que está por vir?