Wat is het verschil tussen correlatie en eenvoudige lineaire regressie?

Question

view on stackexchange narkive permalink

In het bijzonder verwijs ik naar de Pearson product-moment correlatiecoëfficiënt.

Answer 1

view on stackexchange narkive permalink

Wat is het verschil tussen de correlatie tussen $ X $ en $ Y $ en een lineaire regressie die $ Y $ voorspelt vanaf $ X $?

Ten eerste, enkele overeenkomsten :

• de gestandaardiseerde regressiecoëfficiënt is hetzelfde als de correlatiecoëfficiënt van Pearson
• Het kwadraat van de correlatiecoëfficiënt van Pearson is hetzelfde als de $ R ^ 2 $ in eenvoudige lineaire regressie
• Noch eenvoudige lineaire regressie, noch correlatie beantwoorden direct vragen over causaliteit. Dit punt is belangrijk, omdat ik mensen heb ontmoet die denken dat simpele regressie op magische wijze kan leiden tot de conclusie dat $ X $ $ Y $ veroorzaakt.

Ten tweede, enkele verschillen :

• De regressievergelijking (dwz $ a + bX $) kan worden gebruikt om voorspellingen te doen over $ Y $ op basis van waarden van $ X $
• Terwijl correlatie verwijst doorgaans naar de lineaire relatie, het kan verwijzen naar andere vormen van afhankelijkheid, zoals polynoom of echt niet-lineaire relaties.
• Hoewel correlatie doorgaans verwijst naar de correlatiecoëfficiënt van Pearson, zijn er andere soorten correlatie, zoals die van Spearman. .

Answer 2

view on stackexchange narkive permalink

Hier is een antwoord dat ik op de website graphpad.com heb gepost:

Correlatie en lineaire regressie zijn niet hetzelfde. Overweeg deze verschillen:

• Correlatie kwantificeert de mate waarin twee variabelen gerelateerd zijn. Correlatie past niet op een lijn door de gegevens.
• Bij correlatie hoef je niet na te denken over oorzaak en gevolg. U kwantificeert eenvoudig hoe goed twee variabelen zich tot elkaar verhouden. Bij regressie moet je wel nadenken over oorzaak en gevolg, aangezien de regressielijn wordt bepaald als de beste manier om Y te voorspellen vanuit X.
• Bij correlatie maakt het niet uit welke van de twee variabelen je noemt "X" en die u "Y" noemt. U krijgt dezelfde correlatiecoëfficiënt als u de twee verwisselt. Bij lineaire regressie is de beslissing van welke variabele je "X" noemt en welke je "Y" noemt van groot belang, omdat je een andere best passende regel krijgt als je de twee verwisselt. De lijn die Y van X het beste voorspelt, is niet dezelfde als de lijn die X van Y voorspelt (tenzij je perfecte gegevens hebt zonder spreiding).
• Correlatie wordt bijna altijd gebruikt wanneer je beide variabelen meet. Het is zelden gepast als één variabele iets is dat u experimenteel manipuleert. Bij lineaire regressie is de X-variabele meestal iets dat je experimenteel manipuleert (tijd, concentratie ...) en de Y-variabele is iets dat je meet.

Answer 3

view on stackexchange narkive permalink

In het geval van lineaire regressie met één voorspeller heeft de gestandaardiseerde helling dezelfde waarde als de correlatiecoëfficiënt. Het voordeel van de lineaire regressie is dat de relatie zo kan worden beschreven dat je (op basis van de relatie tussen de twee variabelen) de score op de voorspelde variabele kunt voorspellen bij een bepaalde waarde van de voorspellende variabele. In het bijzonder geeft een stukje informatie een lineaire regressie je dat een correlatie niet het snijpunt is, de waarde van de voorspelde variabele wanneer de voorspeller 0 is.

Kortom - ze produceren computationeel identieke resultaten, maar daar zijn meer elementen die interpreteerbaar zijn in de eenvoudige lineaire regressie. Als u geïnteresseerd bent in het eenvoudig karakteriseren van de omvang van de relatie tussen twee variabelen, gebruik dan correlatie - als u geïnteresseerd bent in het voorspellen of verklaren van uw resultaten in termen van bepaalde waarden, wilt u waarschijnlijk regressie.

Answer 4

view on stackexchange narkive permalink

Alle tot nu toe gegeven antwoorden bieden belangrijke inzichten, maar vergeet niet dat u de parameters van de een in de ander kunt omzetten:

Regressie: $ y = mx + b $

Verband tussen regressieparameters en correlatie, covariantie, variantie, standaarddeviatie en gemiddelden: $$ m = \ frac {Cov (y, x)} {Var (x)} = \ frac {Cor (y, x) \ cdot Sd (y)} {Sd (x)} $$ $$ b = \ bar {y} -m \ bar {x} $$

U kunt beide dus in elkaar transformeren door hun parameters te schalen en te verschuiven.

Een voorbeeld in R:

  y <- c (4.17, 5.58, 5.18, 6.11, 4.50, 4.61, 5.17, 4.53, 5.33, 5.14)
x <- c (4.81, 4.17, 4.41, 3.59, 5.87, 3.83, 6.03, 4.89, 4.32, 4.69)
lm (y ~ x)
##
## Bellen:
## lm (formule = y ~ x)
##
## Coëfficiënten:
## (onderscheppen) x
## 6.5992 -0.3362
(m <- cov (y, x) / var (x)) # helling van regressie
## [1] -0,3362361
cor (y, x) * sd (y) / sd (x) # hetzelfde met correlatie
## [1] -0,3362361
gemiddelde (y) - m * gemiddelde (x) # onderscheppen
## [1] 6.599196
 

Answer 5

view on stackexchange narkive permalink

Correlatieanalyse kwantificeert alleen de relatie tussen twee variabelen en negeert welke afhankelijke variabele en welke onafhankelijk is. Maar voordat u regressie toepast, moet u de impact van welke variabele u op de andere variabele wilt controleren, kalibreren.

Answer 6

view on stackexchange narkive permalink

Door correlatie kunnen we alleen een index krijgen die de lineaire relatie tussen twee variabelen beschrijft; bij regressie kunnen we de relatie tussen meer dan twee variabelen voorspellen en deze gebruiken om te bepalen welke variabelen x de uitkomstvariabele y kunnen voorspellen.

Answer 7

view on stackexchange narkive permalink

Altman DG citeert, "Praktische statistieken voor medisch onderzoek" Chapman & Hall, 1991, pagina 321: "Correlatie reduceert een set gegevens tot een enkel getal dat geen directe relatie heeft met de feitelijke gegevens. Regressie is veel nuttiger methode, met resultaten die duidelijk verband houden met de verkregen meting. De sterkte van de relatie is expliciet en onzekerheid kan duidelijk worden afgeleid uit betrouwbaarheidsintervallen of voorspellingsintervallen "

Answer 8

view on stackexchange narkive permalink

De regressieanalyse is een techniek om de oorzaak van het effect van een relatie tussen twee variabelen te bestuderen. terwijl de correlatieanalyse een techniek is om de relatie tussen twee variabelen te kwantificeren.

Answer 9

view on stackexchange narkive permalink

Correlatie is een index (slechts één cijfer) van de sterkte van een relatie. Regressie is een analyse (schatting van parameters van een model en statistische toetsing van hun significantie) van de geschiktheid van een bepaalde functionele relatie. De grootte van de correlatie is gerelateerd aan hoe nauwkeurig de voorspellingen van de regressie zullen zijn.

Answer 10

view on stackexchange narkive permalink

Correlatie is een term in een statistiek die bepaalt of er een relatie is tussen twee en vervolgens de mate van relatie. Het bereik is van -1 tot +1. Terwijl regressie betekent teruggaan naar het gemiddelde. Op basis van regressie voorspellen we de waarde door de ene variabele afhankelijk en de andere onafhankelijk te houden, maar het zou duidelijk moeten zijn welke waarde we willen voorspellen.