# ---
# jupyter:
#   jupytext:
#     text_representation:
#       extension: .py
#       format_name: light
#       format_version: '1.5'
#       jupytext_version: 1.14.4
#   kernelspec:
#     display_name: Python 3
#     language: python
#     name: python3
# ---

# # Plano de aula 
# Faremos mais um vez um ciclo fim a fim de tudo que aprendemos até aqui nas próximas duas aulas com um mesmo dataset. A primeira aula (05/10) será concentrada no EDA. A segunda aula (07/10) na modelagem. 
# Cada aluno fará o exercício passo-a-passo e, a cada passo, atualizará seu notebook com a solução proposta através do git. Peço que:
# 1. Criem uma pasta para a aula 
# 2. Dentro dela, clonem o repositório https://github.com/etiecher/DH_pratica_housing_prices.git
# 3. A cada etapa vocês deverão submeter um push request da solução que desenvolveram
# 4. Na sequência apresentarei a solução proposta e vocês farão um git pull para que ao longo da aula possam ir utilizando mais facilmente os códigos desenvolvidos
# 5. Todos que me enviaram seus usuários github já foram adicionados com permissão para push. Quem não enviou pode informar agora.
# 6. Quem por algum motivo não conseguir utilizar git, me informe para que possamos organizar uma dupla. Podem indicar alguém ou posso sugerir alguém que já confirmou.

# SETUP
# - git clone https://github.com/etiecher/DH_pratica.git
# - cd DH_pratica
# - git config user.email 'se<EMAIL>'
# - git config user.name 'seu nome'
#
# RECEBER DO REPOSITORIO REMOTO PARA O LOCAL
# - git pull origin main
#
# ENVIAR DO REPOSITORIO LOCAL PARA O REMOTO
# - git add .
# - git commit -m 'mensagem explicando'
# - git push origin main           

# ## Etapas - 1a aula
#     
# - (10 min): Set-up para sincronizar soluções (git). 
# - (05 min): Planejamento (aluno)
# - (05 min): Solução proposta
# - (30 min): Exploração inicial
# - (10 min): Solução proposta
# - (10 min): Intervalo
# - (15 min): Conclusões iniciais
# - (15 min): Solução proposta
# - (30 min): Exploração secundária
# - (20 min): Solução proposta / questão do aluno
# - (20 min): Para casa: planejar os tempos para os próximos passos que serão realizados na próxima aula
#     
# ## Etapas - 2a aula
#
# - TBD

# # Introdução do caso

# <br>
# <img src="img/house_price.png" width="950" />
# <br>
#
# No nosso exemplo vamos modelar uma regressão para explicar os preços das casas nos EUA.
#
#     -> Identificar como a base foi construida
#     -> Devemos nos preocupar os com outliers?
#     -> Ao analisar como as variáveis estão distribuidas, temos funções conhecidas?
#     -> Como as funções se correlacionam, os comportamentos são os previstos?
#     -> Para estudar a correlação parcial com regressões precisamos mudar a forma dos dados?
#     -> Variáveis dummies, quando usa-las
#     -> Iterando váriaveis
#     -> Gerando predições
#     
# Features:
# - **price** - The last price the house was sold for
# - **num_bed** - The number of bedrooms
# - **num_bath** - The number of bathrooms (fractions mean the house has a toilet-only or shower/bathtub-only bathroom)
# - **size_house** (includes basement) - The size of the house
# - **size_lot** - The size of the lot
# - **num_floors** - The number of floors
# - **is_waterfront** - Whether or not the house is a waterfront house (0 means it is not a waterfront house whereas 1 means that it is a waterfront house)
# - **condition** - How worn out the house is. Ranges from 1 (needs repairs all over the place) to 5 (the house is very well maintained)
# - **size_basement** - The size of the basement
# - **year_built** - The year the house was built
# - **renovation_date** - The year the house was renovated for the last time. 0 means the house has never been renovated
# - **zip** - The zip code
# - **latitude** - Latitude
# - **longitude** - Longitude
# - **avg_size_neighbor_houses** - The average house size of the neighbors
# - **avg_size_neighbor_lot** - The average lot size of the neighbors
#
# O dataset foi simplificado para a aula (algumas features foram excluídas). Dados originais disponíveis no Kaggle [clicando aqui](https://www.kaggle.com/harlfoxem/housesalesprediction)
#
# --------------

# # Aula 1 - EDA

# ## Importando os pacotes

# +
# # %load solucao3.1.py
# -

# ## Leitura dos dados

# +
# # %load solucao3.2.py
# -

# ## EDA

# ### Planejamento
# (05 min): Escreva um texto detalhando o que planeja fazer para descrever os dados. Não descreva as funções e sim que tipo de informação você quer obter sobre os dados.

# +
# # %load solucao3.3.1.py
# -

# ### Análise exploratória inicial
# (25 min): Escreva o codigo para realizar o que planejou. procure fazer primeiro os codigos mais simples, mais objetivos, os que vierem primeiro a cabeça.
#

# +
# # %load solucao3.3.2.py

# +
# # %load solucao3.3.2adicional.py
# -

# ## Conclusões iniciais
# (15 min): Reserve um tempo para olhar com calma as informações e tirar conclusões para próximos passos. Como no item 4.1, descreva em texto.

# +
# # %load solucao3.4.0.py
# -

# ## Reiterando na analise exploratória

# (30 min): Escolha uma ou mais das conclusões (pense nos critérios: importância, facilidade, etc) e desenvolva o código.

# # %load solucao3.5.1.py


# +
# # %load solucao3.5.1adicional.py
# -

# ----------------
# # Aula 2 - Modelagem

# ## Plano de aulas

# # %load solucao4.1.py

StarcoderdataJupyterScriptsDedupFiltered