Introdução à Regressão Simples

O que é uma Regressão Linear Simples?

No caso, Regressão é um procedimento estatístico de estimar uma
expressão algébrica (ou seja, um modelo) que explica a variação de uma
variável dependente Y em função de n variáveis independentes, ou
explanatórias, ou seja: X 1 , X 2 , … , X n.
Assim, a Regressão Linear Simples é um tipo de Regressão onde se
tem presente uma variável dependente Y e uma única variável independente X,
sendo simples por haver apenas uma variável independente. Além disso, os
coeficientes de uma Regressão Linear Simples são uma equação de reta:
y=α + βx
Onde y são os valores da variável de resultado, o que se quer prever, x
são os valores da variável preditora, α é o valor de intercepto, que informa o
valor de y quando x é zero e β é o valor que determina a inclinação da reta.
Por fim, e em outras palavras, os números em α (ou intercepto) e β (ou
coeficiente angular) resolvem o problema de minimização:
n n
Procurar minQ(α , β), onde Q ( α , β )=∑ ε^ i =∑ ( y i −α −β x i )
2 2

i=1 i=1

Qual a diferença entre variáveis independentes (X) e variáveis

dependentes (Y)?
A Variável Independente (X) é a medida do lado não dependente de
nenhuma outra medida variável, e que também é, normalmente, manipulada
pelo experimentador, enquanto, por consequência, a Variável Dependente (Y) é
aquela que dependerá do valor de outra medida variável.
No caso, nem sempre a Variável Independente será a causa e a Variável
Dependente a consequência, onde ambas podem ter uma relação dialética ou
os resultados obtidos podem refutar a relação direta e significativa entre elas.
Por fim, no caso da Regressão Linear Simples, as variáveis, como
mostrado anteriormente, estão montadas numa equação de uma reta, onde o
valor de Y (Variável Dependente) varia de acordo com o valor de X (Variável
Independente).

Em quais contextos as Regressões Lineares Simples são

utilizadas?
Como mostrado anteriormente, usa-se Regressão Linear Simples para
descrever a relação linear entre duas variáveis, assim, ela é útil em instâncias
como:
  Quando se quer prever o valor de uma variável pelo valor de outra;
 Quando se quer entender se uma variável está relacionada á outra;
 Quando se quer criar um modelo base antes dos modelos de Regressão
Linear Múltipla;
 Quando se quer explicar a variação da variável resposta.

Exemplos de situações no mundo onde a Regressão Linear Simples

pode ser aplicada:
Usa-se a Regressão Linear Simples para:
 Avaliar o coeficiente de inteligência de acordo com a idade;
No sentido que, começando aos 0 anos de idade, quanto mais velho uma
pessoa fica, maior será se coeficiente de inteligência, teoricamente.
 Avaliar se a insônia é um preditor da depressão;
Fazendo a relação de que a falta de uma boa noite de sono, como no caso
da insônia, pode ser um fator que irá prever a depressão.
 Relacionar a dose de um medicamento com a pressão arterial de um
paciente;
Autoexplicativo, mas também se estendo para diversos medicamentos em
geral, no âmbito de relacionar sua efetividade/efeitos colaterais em um
paciente.
 Determinar o efeito de fertilizantes e a água numa colheita.
Além de fertilizantes e a água, também pode servir para medir a efetividade
de certos pesticidas e outras medidas preventivas para determinada plantação.

Estimativa dos Parâmetros de Regressão

Descreva o Método dos Mínimos Quadrados para estimar os
parâmetros de regressão (intercepto e coeficiente angular).
O Método dos Mínimos Quadrados é uma técnica de otimização
matemática que procura achar o melhor ajuste para um conjunto de dados,
procurando minimizar a soma dos quadrados dos resíduos (ou, também,
diferenças entre o valor estimado e os dados observados) de regressão.
Um requisito para esse método é que o fator imprevisível (ε ), ou erro,
seja distribuído aleatoriamente e tal distribuição seja normal. Assim, a fórmula
da equação da reta editada para o Método dos Mínimos Quadrados é:
y=α + βx +ε
 Mas, ao estimar o modelo usando uma base de dados, estima-se, na
verdade:
y i=α + β x i + ε i

Onde i indica todas as n observações de bases e ε i passa a ser

chamado de resíduo, ao invés de erro.
Fora isso, outro requisito é que o modelo deve ser linear aos
parâmetros, ou seja, as variáveis apresentam uma relação linear entre si. Se
não apresentar essa relação, usa-se um modelo de regressão não-linear ou
lineariza-se o modelo por meio da aproximação até a primeira ordem do uso da
Lei de Taylor.

Descreva o Método da Verossimilhança para estimar os parâmetros

de regressão (intercepto e coeficiente angular).
Em geral, o Método da Verossimilhança estima os valores dos diferentes
parâmetros de um dado modelo estatístico, no âmbito de maximizar a
probabilidade dos dados observados. Assim, o método apresenta-se como um
método geral para a estimação de parâmetros, principalmente no caso de
distribuições normais.
Além disso, o método é baseado numa função que representa a amostra
conjunta como uma função dos parâmetros. Assim, a Função de
Verossimilhança de n variáveis aleatórias x n é definida como a densidade
conjunta das n variáveis aleatórias, ou seja:
L ( θ ; x1 , … , xn ) =f (x 1 , … , x n ; θ)

Que é considerada ser uma função de θ, com θ ∈Θ , onde Θ é o espaço

paramétrico. Em particular, se x n são uma amostra aleatória da densidade
f (x ; θ), então a Função de Verossimilhança é:
n
L ( θ ; x1 , … x n )=∏ f ( x i ; θ )
i=1

Mas, na prática, é usado o logaritmo da função:

n
l ( θ ; x1 , … x n )=ln L=∑ ln f ( x i ; θ )
i=1

Por fim, o Princípio da Verossimilhança postula que, para fazer uma

inferência sobre uma quantidade de interesse θ , só importa aquilo que
realmente foi observado, e não aquilo que poderia acontecer, mas efetivamente
não ocorreu.
Como interpretar os coeficientes da regressão?
Os Coeficientes de Regressão representam a mudança média na
variável resposta para uma unidade de mudança na variável preditora, assim
mantendo as outras preditoras na constante do modelo, ou seja, eles fornecem
o impacto, ou peso, de uma variável em relação a todo o modelo. Com isso, o
controle estatístico que o coeficiente de regressão proporciona é importante
pois isola o papel de uma variável de todas as outras no modelo.
Assim, um jeito fácil de entender os coeficientes de regressão é pensar
neles como inclinações, até por isso são, frequentemente, chamados de
“Coeficientes de Inclinação”.

O que o intercepto e o coeficiente angular representam em termos

práticos?
Para o Intercepto, ele é o valor previsto da variável dependente (Y)
quando as variáveis independentes ( X n ¿ são 0. Ele pode ser relevante
interpretar se estiver trabalhando com seletas variáveis independentes que
podem assumir o valor de 0 e têm alguma relevância na teoria/prática, mas,
muitas vezes, é melhor usar coeficientes de regressão padronizados das
variáveis independentes e descartar o intercepto.
Por exemplo, se tomar X = Tempo como uma variável, é possível
interpretar o intercepto como a base estimada de Y. Mas se tomar X = Peso, o
intercepto é irrelevante, já que, em prática, não é possível ter Peso = 0.
Agora para o Coeficiente Angular, se ele for 0, então não é possível
aumentar a Variável Dependente Y aumentando a Variável Independente X, ou
seja, não teria uma relação linear entre X e Y.
Por exemplo, seja Y = Tamanho do Calçado e X = Altura, então Y cresce
à medida que X cresce. Mas se Y = Tamanho do Calçado e X = Pressão
Arterial, Y não irá crescer à medida que X cresce.

Coeficiente de Determinação R2
Explique o que é o Coeficiente de Determinação, como ele é
calculado, e o que ele representa no contexto da regressão linear.
O Coeficiente de Determinação ( R2) é uma medida de ajuste de um
modelo estatístico linear generalizado, como a regressão linear simples (caso
de estudo nesse trabalho) ou múltipla, aos valores observados de uma variável
aleatória. O R2 varia de 0 a 1, às vezes sendo expresso em termos percentuais,
mas, nesse caso, expressa a quantidade de variância dos dados, que é
explicada pelo modelo linear.
Para o cálculo de tal, é necessário saber sobre o Coeficiente de
Correlação (r ), que é uma medida que quantifica a força e a direção de uma
relação linear entre duas variáveis contínuas, variando de -1 a 1. No caso,
valores positivos indicam uma relação direta entre as variáveis,
neutros/próximos de 0 indicam uma relação fraca ou ausente e negativos
indicam uma relação inversa.
Agora, para o cálculo do Coeficiente de Correlação, usa-se a fórmula:

r=
∑ [ ( x i−x )∗( y i− y ) ]
√ ∑ [( x −x ) ¿ ¿ 2∗( y − y ) ¿ ]¿¿
i i
2

Assim, é possível denotar que o Coeficiente de Determinação ( R2) nada

mais é que o Coeficiente de Correlação ao quadrado, ou seja:
2 2
r =R
Agora, por último, como comentado anteriormente, a representação do
Coeficiente de Determinação no contexto da regressão linear é que o
coeficiente é uma medida estatística que é usada para avaliar a qualidade do
ajuste de um modelo de regressão linear.
Como o R2 pode ser usado para avaliar a qualidade de um modelo
de regressão? O que significa R2 alto ou baixo?
O Coeficiente de Determinação, como mencionado anteriormente é uma
métrica que indica a qualidade do ajuste de um modelo de regressão linear aos
dados.
Além disso, ele varia de 0 a 1, onde quanto mais próximo de 0, ou seja
quanto menor o R2, indica que o modelo é incapaz de explicar nenhuma
variância da variável dependente. Inversamente, quando mais próximo de 1, ou
seja quanto maior o R2, sugere que o modelo é capaz de explicar, quase
completamente, a variância da variável dependente.

Fontes:
https://www.fcav.unesp.br/Home/departamentos/cienciasexatas/
EUCLIDESBRAGAMALHEIROS/materialdidatico/anoletivo-2014/
ApostilaEEAR_Cap2atm.pdf

https://repositorio.enap.gov.br/bitstream/1/4788/1/Livro_Regress%C3%A3o
%20Linear.pdf

https://www.blog.psicometriaonline.com.br/o-que-e-regressao-linear-simples/
https://www.blog.psicometriaonline.com.br/o-que-sao-variaveis-independentes-
e-dependentes/
https://ebaconline.com.br/blog/regressao-linear-seo
https://edisciplinas.usp.br/pluginfile.php/7521688/mod_resource/content/1/
AULA15%20-%20Estimador%20de%20Maxima%20Vero%20-%20GE.pdf

https://blog.minitab.com/pt/como-interpretar-os-resultados-da-analise-de-
regressao-valores-p-e-coeficientes
https://www.reddit.com/r/statistics/comments/va4poz/
question_how_should_you_interpret_the_intercept/
https://estatisticafacil.org/coeficiente-de-determinacao-x-coeficiente-de-
correlacao/
https://www.blog.psicometriaonline.com.br/entenda-o-que-e-o-coeficiente-de-
determinacao-na-regressao-linear/