analysis.Rmd

---
title: "Statistical Analysis with R in Saratoga Dataset"
lang: el
mainfont: Arial
output:
   pdf_document:
      latex_engine: xelatex
      
---



```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = TRUE)
```

# Εισαγωγή 
Σκοπός της παρούσας μελέτης είναι εξαγωγή συμπερασμάτων για τα δεδομένα των σπιτιών της Saratoga. Το dataset που θα επεξεργαστούμε έχει τις ακόλουθες μεταβλητές:
Price: η τιμή (σε 1000s $) (εξαρτημένη μεταβλητή)
lotSize: μέγεθος οικοπέδου  (square feet)
age: παλαιότητα του σπιτιού (years)
landValue: αξία οικοπέδου (1000s of US dollars)
livingArea: εμβαδό σπιτιού (square feet)
pctCollege: ποσοστό γειτόνων που είναι απόφοιτη κολεγίου
bedrooms: αριθμός υπνοδωματίων
firplaces: αριθμός τζακιών
bathrooms: αριθμός μπάνιων
rooms: αριθμός δωματίων
heating type: τύπος θέρμανσης
fuel: καύσιμο θέρμανσης
sewer type: τύπος υπονόμου
waterfront: ύπαρξη προκυμαίας
newConstruction: αν είναι νεόδμητο
centralAir: αν έχει κεντρικό αερισμό


# Ερυνητικά ερωτήματα
Παρακάτω θα μελετήσουμε τη σχέση όλων των μεταβλητών με την τιμή του σπιτιού και θα προσπαθήσουμε να διερευνήσουμε το βαθμό της συσχέτισης τους με αυτήν κατασκευάζοντας κατάλληλα μοντέλα πρόβλεψης. Ακολούθως θα διερευνήσουμε κατά πόσο η διαισθητικά εύλογη συσχετίση του αν είναι νεόδμητο το σπίτι με το ποσοστό αποφοίτων κολεγίου της γειτονιάς, τον αριθμό δωματίων, την τιμή και (την εξ ορισμού) ηλικία της κατασκευής, επιβεβαιώνονται από τα δεδομένα μας:

```{r}
system("defaults write org.R-project.R force.LANG el_GR.UTF-8") 

SH<-read.csv("D:/Desktop/SaratogaHouses.csv", header=T)
SH<-subset(SH, select=-c(X))
```
Η παρακάτω εντολή σημαίνει ότι η βάση δεδομένων αναζητείται από την  R κατά την αξιολόγηση μιας μεταβλητής, έτσι ώστε τα αντικείμενα στη βάση δεδομένων να είναι προσβάσιμα προς ανάλυση δίνοντας απλώς τα ονόματά τους.

```{r}
attach(SH)
```

Με τηνεντολή names() πραγματοποιείται εκτύπωση όλων των μεταβλητών στο πλαίσιο δεδομένων.
```{r}

names(SH)
```

Πραγματοποιείται εκτύπωση των πρώτων 6 εγγραφών για κάθε στήλη του dataframe
```{r}

head(SH)
```


Με την εντολή summary() βρίσκονται όλα τα σημαντικά στατιστικά στοιχεία της εξαρτημένης και των ανεξάρτητων μεταβλητών(Διάμεσος , μέση τιμή, 1ο & 3ο τεταρτημόριο)

```{r}
summary(SH)
```

Η μεταβλητή lotSize δίνεται σε εκτάρια και θα πρέπει να μετατραπεί σε square feet
```{r}
lotSize=lotSize*43560
```

```{r}
SH$fireplaces <- as.factor(SH$fireplaces)
SH$bedrooms <- as.factor(SH$bedrooms)
SH$bathrooms <- as.factor(SH$bathrooms)
SH$rooms <- as.factor(SH$rooms)

```
Εύρεση της δειγματικής διαμέσου για κάθε αριθμητική μεταβλητή του dataframe
```{r}

sapply(Filter(is.numeric, SH), FUN = mean, na.rm = TRUE)
```

Τα ακόλουθα γραφήματα που δημιουργήθηκαν με τη βιβλιοθήκη ggplot() απεικονίζουν γραφικά τις μεταβλητές και τις μεταξύ τους σχέσεις.


```{r}

library(ggplot2)
ggplot(SH, aes(x = price, fill = ..count..)) +
  geom_histogram(binwidth = 20000) +
  ggtitle("Histogram of House Price") +
  ylab("Frequency") +
  xlab("Housing Price") +
  theme(plot.title = element_text(hjust = 0.5))
```
Στο πρώτο ιστόγραμμα φαίνεται η συχνότητα των σπιτιών συγκριτικά με την τιμή. όπως βλέπουμε και απο το plot τα δεδομένα ακολουθούν Skewed Distribution - Η λοξή κατανομή η οποία είναι ασύμμετρη επειδή ένα φυσικό όριο αποτρέπει τα αποτελέσματα στη μία πλευρά.Ο συγκεκριμένος τύπος κατανομής μας δείχνει θετική ασσυμετρία στο δείγμα. Στην συγκεκριμένη περίπτωση φαίνεται οτι υπάρχει δεξιά λοξότητα καθώς το μεγαλύτερο πλήθος των σπιτιών έχουν αγοραστική αξία από 0 - 400.000, ενώ αρκετά λιγότερα έχουν αξία >400.000. Η κορυφή της διανομής είναι εκτός κέντρου προς το όριο και μια ουρά απλώνεται μακριά από αυτό.


```{r}
ggplot(SH, aes(x = lotSize, fill = ..count..)) +
  geom_histogram(binwidth = 0.5) +
  ggtitle("Histogram of Lot Size") +
  ylab("Frequency") + xlab("Lot Size") +
  theme(plot.title = element_text(hjust = 0.5))
```



```{r}

ggplot(SH, aes(x = pctCollege, fill = ..count..)) +
  geom_histogram(binwidth = 5) +
  ggtitle("Histogram of percent of neighborhood that graduated  college") +
  ylab("Frequency") +
  xlab("Percent of neighborhood that graduated college") +
  theme(plot.title = element_text(hjust = 0.5))
```

To διάγραμμα για την ανεξάρτητη μεταβλητή pctCollege δείχνει το ποσοστό αποφοίτων κολεγίου της γειτονιάς. Το δείγμα ακολουθεί λοξή κατανομή απο την δεξιά πλευρά ή αρνητικά λοξή κατανομή, έχοντας επίσης αρνητική ασσυμετρία. Αυτή η συνθήκη προκύπτει καθώς οι μικρότερες τιμές του δείγματος έχουν λιγότερες πιθανότητες να εμφανιστούν.Πιο συγκεκριμένα είναι πολυ μικρό το ποσοστό (<30%) των γειτόνων που δεν έχουν αποφοιτήσει.


```{r}
ggplot(SH, aes(x = livingArea, fill = ..count..)) + geom_histogram(binwidth = 200) +ggtitle("Histogram of Living Area") +ylab("Frequency") + xlab("Living Area") + theme(plot.title = element_text(hjust = 0.5))
```
Το τελευταίο ιστόγραμμα υποδεικνύει την σχέση της LivingArea με την συχνότητα ακολουθώντας λοξή κατανομή επίσης με θετική ασσυμετρία.


```{r}
## `geom_smooth()` using formula 'y ~ x'
ggplot(SH, aes(x = waterfront, fill = waterfront )) + 
geom_bar()+ ggtitle("Distribution of Waterfront")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```
Το παραπάνω ραβδόγραμμα  περιλαμβανει την κατονομή και δείχνει πόσα σπίτια στην Saratoga διαθέτουν προκυμαία - waterfront. Παρατηρείται οτι η πλειονότητα των σπιτιών δεν διαθέτει προκυμαία στο σπίτι του.

O πίνακας συχνοτήτων και σχετικών συχνότητων σχετικά με το αν το σπίτι διαθέτει προκυμαία ή όχι
	
 ~ | Waterfront | Συχνότητα | Σχετική συχνότητα
------------- | ------------- | ------------- | -------------   
1 | Yes | 15 |0.9913
2 | no | 1713 | 0.008

***

H κατανομή της μεταβλητής heating, φαίνεται παρακάτω.

```{r}
ggplot(SH, aes(x = heating, fill = heating )) + 
geom_bar()+ ggtitle("Distribution of Heating")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```



H κατανομή της μεταβλητής centralAir, φαίνεται παρακάτω. Παρατηρούμε οτι η κατανομή αυτη ειναι περισσότερο κανονικοποιημένη καθώς οι τιμές του 'Εχω κεντρικη θέρμανση' και του 'δεν εχω' δεν έχουν τόσο μεγάλη απόκλιση όσο προηγουμένως. 
```{r}
ggplot(SH, aes(x = centralAir, fill = centralAir )) + 
geom_bar()+ ggtitle("Distribution of Central Air")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```

O πίνακας συχνοτήτων και σχετικών συχνότητων σχετικά με το αν το σπίτι διαθέτει κεντρική θέρμανση
	
 ~ | CentralAir | Συχνότητα | Σχετική συχνότητα
------------- | ------------- | ------------- | -------------   
1 | Yes | 635 |0.632
2 | no | 1093| 0.368


Η κατανομή για τα διάφορα είδη καυσίμου.
```{r}

ggplot(SH, aes(x = fuel, fill = fuel )) + 
geom_bar()+ ggtitle("Distribution of different Fuel type")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)
```
Η κατανομή για τα διάφορα είδη καυσίμου. Παρατηρούμε οτι τα περισσότερα παραδείγματα βρίσκονται στο feature:oil.

O πίνακας συχνοτήτων και σχετικών συχνότητων σχετικά με τις διαφορετικό τύπο θέρμανσης
	
 ~ | FuelType | Συχνότητα | Σχετική συχνότητα
------------- | ------------- | ------------- | -------------   
1 | electric | 315 |0.1822
2 | gas | 1197| 0.6927
3 | oil | 216| 0.125

H παρακάτω κατανομή υποδυκνύει αν σπίτια διαθέτουν δημόισιο, ιδιωτικό υπόνομο. Πολυ μικρός ο αριθμός των αγνωστων παρατηρήσεων σε αυτή την μεταβλητή.
```{r}
ggplot(SH, aes(x = sewer, fill = sewer )) + 
geom_bar()+ ggtitle("Distribution of sewertype")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```


Η μεταβλητή bedrooms δεν μπορούμε να απορρίψουμε οτι ακολουθεί κανονική κατανομή
```{r}
ggplot(SH, aes(x = bedrooms, fill = bedrooms )) + 
geom_bar()+ ggtitle("Distribution of bedrooms")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```


Ραβδόγραμμα για τον αριθμό των τζακιών
```{r}
ggplot(SH, aes(x = fireplaces, fill = fireplaces )) + 
geom_bar()+ ggtitle("Distribution of fireplaces")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```

Ραβδόγραμμα για τον αριθμό των bathrooms
```{r}
ggplot(SH, aes(x = bathrooms, fill = bathrooms )) + 
geom_bar()+ ggtitle("Distribution of bathrooms")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```

Ραβδόγραμμα για τον αριθμό των δωματίων.
```{r}
ggplot(SH, aes(x = rooms, fill = rooms )) + 
geom_bar()+ ggtitle("Distribution of bathrooms")+
theme(plot.title = element_text(hjust = 0.5))+
  geom_text(stat='count',aes(label=..count..),vjust=-0.25)

```

#Συσχέτιση μεταβλητών μεταξύ τους

```{r}
library("ggcorrplot")
SHcor = data.frame(price, lotSize, age, landValue, livingArea, pctCollege, bedrooms, fireplaces, bathrooms, rooms)
correl = cor(SHcor)
round(correl, 2)
ggcorrplot(correl,lab=TRUE)
```

#Συσχέτιση ανεξάρτητων μεταβλητών μεταξύ τους

## Καύσιμο και τύπος θέρμανσης (heating,fuel)
Υποθέτουμε ότι θα υπάρχει κάποια σχέση ανάμεσα στον τύπο του καυσίμου και στον τύπο θέρμανσης.
```{r}
prop.table(table(heating,fuel),2)
```
Φαίνεται πως υφίσταται συσχέτιση του fuel electric με τον τύπο θέρμανσης electric, του fuel gas με τον τύπο θέρμανσης ζεστού αέρα και του fuel oil με τον τύπο θέρμανσης ζεστού αέρα.

## κεντρικός αερισμός και παραλία (centralAir,waterfront)
θα εξετάσουμε αν υπάρχει συσχέτιση του centralAir με το waterfront.
```{r}
prop.table(table(centralAir,waterfront),2)
x=as.matrix(c(64,36,73,27))
dim(x)=c(2,2)
fisher.test(x)
```
Από το Fisher’s test προκύπτει ότι p= 0.22 > 0.05 άρα η μηδενική υπόθεση δεν απορρίπτεται, δηλαδή οι
μεταβλητές «centralAir» και «waterfront» είναι ανεξάρτητες (δεν έχουν σχέση).

## Λοιπές αριθμητικές
Από τον πίνακα συσχέτισης φαίνεται ότι ισχυρή συσχέτιση μεταξύ τους έχουν οι ακόλουθες ανεξάρτητες αριθμητικές μεταβλητές:
1)οι rooms, bedrooms, bathrooms, fireplaces, livingArea (κάτι το οποίο είναι εύλογο αφού όλες έχουν σχέση με το μέγεθος του σπιτιού)
2)οι landValue με την livingArea

#Συσχέτιση ανεξάρτητων μεταβλητών με την εξαρτημένη

Δημιουργία scatterplots -μέσω της βιβλιοθήκης ggplot2 με σκοπό την οπτικοποίηση των σχεσεων της μεταβλητής price και των ανεξάρτητων μεταβλητών.


## Price ~ Age

```{r}

ggplot(SH, aes(x=age, y=price)) + 
  geom_point(color='purple', size = 2) + 
  geom_smooth(method=lm, color='#2C3E50')


```


Η συσχέτιση των δυο μεταβήτών είναι αρκετά ισχυρή, καθώς υπάρχει αναλογική σταθερή μείωση των τιμών.Αυτό ειναι λογικό, άμα λάβουμε υπόψιν οτι όσο πιο παλιό είναι το σπίτι τόσο και χαμηλότερη αγοραστική αξία θα έχει

***

## Living Area ~ Price

```{r}

ggplot(SH, aes(x=livingArea, y=price)) + 
  geom_point(color='brown', size = 2) + 
  geom_smooth(method=lm, color='#2C3E50')


```
H living Area εχει τη μεγαλύτερη θετική συσχέτιση απο κάθε άλλη μεταβλητή, καθώς ο ρυθμός με τον οποίο αυξάνονται οι τιμές των δειγμάτων ειναι παραπλήσιος.

***

## pctCollege - price

```{r}

ggplot(SH, aes(x=pctCollege, y=price)) + 
  geom_point(color='grey', size = 2) + 
  geom_smooth(method=lm, color='#2C3E50')


```


Οι παρατηρήσεις του δείγματος εχουν μεγάλη διασπορά, το οποίο μας δείχνει οτι οι δεν μεταβλητές δεν έχουν ισχυρή συσχέτιση.

## landValue - price

```{r}

ggplot(SH, aes(x=landValue, y=price)) + 
  geom_point(color='brown', size = 2) + 
  geom_smooth(method=lm, color='#2C3E50')


```


οι δύο μεταβλητές φαίνεται οτι έχουν συσχέτιση καθώς όσο αυξανεται το landValue, τείναι να αυξάνεται και η τιμή του σπιτιού.Οι περισσότερες παρατηρήσεις βρίσκονται στο διάστημα 0 - 100.000.

Θηκόγραμμα μεταξύ των μεταβλητών price-bedrooms
```{r}

ggplot(SH, aes(x=bedrooms, y=price, fill=bedrooms)) + 
  geom_boxplot(alpha=0.3) +
  stat_summary(fun.y=mean, geom="point", shape=20, size=4, color="red", fill="red")+
  ggtitle("Boxplot of House Price by Bedrooms")+
  theme(plot.title = element_text(hjust = 0.5))


```


Για τον αριθμό υπνοδωματίων:1 φαίνεται οτι υπάρχει θετική ασυμμετρία όπου η διάμεσος(το 50%-ποσοστιμόριο) πλησιάζει περισσότερο το πρώτο τεταρτημόιρο(25%-ποσοστιμόριο) δηλαδή οι περισότερες τιμές της μεταβλητής κατανέμονται ανάμεσα στην διάμεσο και το τρίτο τεταρτημόριο.

Για τον αριθμό υπνοδωματίων:6 φαίνεται οτι υπάρχει αρνητική ασυμμετρία όπου η διάμεσος(το 50%-ποσοστιμόριο) πλησιάζει περισσότερο το τρίτο τεταρτημόιρο(75%-ποσοστιμόριο) δηλαδή οι περισότερες τιμές της μεταβλητής κατανέμονται ανάμεσα στην διάμεσο και το πρώτο τεταρτημόριο.

Στις υπόλοιπες περιπτώσεις το δείγμα ακολουθεί κανονική κατανομή

Για τις περιπτώσεις των υπνοδωματίων 2,3,4,5,7 υπάρχουν αρκετές εξωτερικές τιμές(παράτυπα σημεία), γεγονός που φανερώνει οτι δεν έχει τόσο σωστή δειγματοληψία ωστε το δείγμα να ειναι ανταπροσωπευτικό για τον πληθυσμό.


Θηκόγραμμα μεταξύ των μεταβλητών price-bathrooms
```{r}

ggplot(SH, aes(x=bathrooms, y=price, fill=bathrooms)) + 
  geom_boxplot(alpha=0.3) +
  stat_summary(fun.y=mean, geom="point", shape=20, size=4, color="red", fill="red")+
  ggtitle("Boxplot of House Price by Bedrooms")+
  theme(plot.title = element_text(hjust = 0.5))


```

Για τον αριθμό μπάνιων:3.5 φαίνεται οτι υπάρχει θετική ασυμμετρία όπου η διάμεσος(το 50%-ποσοστιμόριο) πλησιάζει περισσότερο το πρώτο τεταρτημόιρο(25%-ποσοστιμόριο) δηλαδή οι περισότερες τιμές της μεταβλητής κατανέμονται ανάμεσα στην διάμεσο και το τρίτο τεταρτημόριο.

Επιπλέον, παρατηρούμε οτι όσο περισσότερα μπάνια διαθέτει ένα σπίτι, τόσο μεγαλύτερη είναι και η τιμή του σπιτιού.

Για τις περιπτώσεις των σπιτιών που έχουν τόσα μπάνια 1 - 3.5 υπάρχουν αρκετές εξωτερικές τιμές(παράτυπα σημεία), γεγονός που φανερώνει οτι δεν έχει τόσο σωστή δειγματοληψία ωστε το δείγμα να ειναι ανταπροσωπευτικό για τον πληθυσμό.


# Μοντέλα με εξαρτημένη μεταβλητή την τιμή

Παρατηρούμε ότι υπάρχει ισχυρή θετική συσχέτιση της τιμής με τον αριθμό δωματίων, υπνοδωματίων μπάνιων, εμβαδού σπιτιού, αξίας οικοπέδου. Οι παρατηρήσεις αυτές θα είναι πολύ χρήσιμες για την ακόλουθη σχεδίαση των μοντέλων.  
 
Θα σχεδιάσουμε 3 μοντέλα με εξαρτημένη μεταβλητή την τιμή: ένα με όλες τις ανεξάρτητες αριθμητικές, ένα με μόνο κατηγορικές και ένα και με αριθμητικές και με κατηγορικές.

#1ο Μοντέλα με εξαρτημένη μεταβλητή την price (all numeric)
Στο πρώτο μοντέλο με μόνο numerical μεταβλητές θα επιλέξουμε τις 3 με το μεγαλύτερο correlation με την τιμή. Θα ξεκινήσουμε με έλεγχο των κυρίων επιδράσεων, όλων των αλληλεπιδράσεων 2ης τάξης και την αλληλεπίδραση 3ης τάξης.
```{r}
model1=lm(price ~ livingArea*landValue*bathrooms)
summary(model1)
```

Παρατηρούμε ότι p<0.001<0.05 και επομένως το μοντέλο συνεισφέρει σημαντικά στην ερμηνεία της εξαρτημένης μεταβλητής. Επίσης εξηγεί το (R-squared) 62,5% της μεταβλητότητας της εξαρτημένης μεταβλητής(price).
Οι συντελεστές livingArea, landValue, η αλληλεπίδραση των δύο με την bathrooms καθώς και η τριπλή αλληλεπίδραση τους είναι στατιστικά σημαντικοί αφού έχουν p<0.001<0.05 και επομένως συνεισφέρουν στην ερμηνεία της εξαρτημένης μεταβλητής. Αντίθετα η bathrooms και η αλληλεπίδραση των livingArea και landValue δεν είναι στατιστικά σημαντικές (έχουν p>0.05) και επομένως μπορουν να αφαιρεθούν από το μοντέλο.

```{r}
model2=update(model1, ~. -bathrooms -livingArea:landValue)
anova(model1,model2)
model3=update(model2, ~. -landValue:bathrooms)
summary(model3)
anova(model2,model3)
model4=update(model3, ~. -livingArea:landValue:bathrooms)
anova(model1,model2)
summary(model4)
```

Παρατηρούμε ότι τα μοντέλα 1,2,3 δεν έχουν στατιστικά σημαντική διαφορά μεταξύ τους ενώ το μοντέλο 3 με το 4 έχουν στατιστικά σημαντική διαφορά (p<0,001). Ωστόσο το μοντέλο 4 ίσως να είναι προτιμητέο καθώς είναι λιγότερο περίπλοκο (αφού έχει αφαιρεθεί και η τριπλή αλληλεπίδραση παρά το ότι είναι στατιστικά σημαντική) και εξακολουθεί να συνεισφέρει σημαντικά στην ερμηνεία της εξαρτημένης μεταβλητής και να εξηγεί το (R-squared) σε παραπλήσιο βαθμό (62%) την μεταβλητότητας της εξαρτημένης μεταβλητής(price). 

```{r}
plot(model4)
```

Παρατηρούμε ότι υφίσταται κάποιο pattern στα υπόλοιπα (ύπαρξη ετεροσκεδαστικότητας).Ακόμα η κατανομή τους ξεφεύγει από την κανονική (QQplot). Θα πειραματιστούμε λοιπόν με το λογαριθμικό μετασχηματισμό της εξαρτημένης μεταβλητής και των livingArea και landValue.

```{r}
model5=lm(log(price) ~ log(livingArea) + log(landValue) + livingArea:bathrooms)
```
Το πρόβλημα της ετεροσκεδαστικότητας έχει αντιμετωπιστεί και η κατανομή των καταλοίπων είναι σημαντικά βελτιωμένη, προσεγγίζοντας την κανονική.
Σε όλα τα σχήματα φαίνεται πως η παρατήρηση #1011 έχει άσχημη επίδραση στην παλινδρόμηση και επομένως στο τελικό μοντέλο θα αφαιρεθεί.

```{r}
model6=lm(log(price) ~ log(livingArea) + log(landValue) + livingArea:bathrooms, subset=(1:length(price)!=1011))
summary(model6)
plot(model6)
```
Παρατηρούμε ότι το τελικό μοντέλο έχει στατιστικά σημαντική ερμηνευτική ισχύ της τιμής των σπιτιών (εξαρτημένη μεταβλητή), και καλή εξήγηση της μεταβλητότητας της (~58%). Και οι τρεις όροι είναι στατιστικά σημαντικοί και οι θετικοί συντελεστές στην livingArea, στην landValue και στην αλληλεπίδραση των livingArea και bathrooms, σημαίνει ότι όταν έχουμε αύξηση στους 3 όρους κατά μια μονάδα ασκείται ανάλογη με το συντελεστή αυξητική συνιστώσα στην τιμή.

#2ο Μοντέλα με εξαρτημένη μεταβλητή την price (all categorical)

Διερευνήσαμε την ανάλυση διακύμανσης για όλες τις κατηγορικές μεταβλητές μας (heating, fuel, sewer, waterfront, newConstruction, centralAir) αλλά και για τις numeric που μπορούν να εκληφθούν ώς ordinal (rooms, bedrooms, fireplace, bathrooms) και βρέθηκε στατιστικά σημαντική επίδραση όλων των παραγόντων στην τιμή.

Ενδεικτικά:

## Δωμάτια - rooms
```{r}
library("DescTools")
rooms3=as.factor(rooms)
model30=aov(price~rooms3)
summary(model30)
PostHocTest(model30)
boxplot(price~rooms3)
```
Η ανάλυση διακύμανσης δείχνει στατιστικά σημαντική επίδραση του παράγοντα rooms στην τιμή (p<0,001).
Ο Post hoc έλεγχος Tukey HSD δείχνει ότι δεν υπάρχει διαφορά ως προς την τιμή ανάμεσα στον αριθμό δωματίων 1 έως 6, 7 με 8, 9 με 10. Επομένως μπούμε να χωρίσουμε τον παράγοντα στις κατηγορίες: μεχρι6, 7ή8, 9ή10, 11. Το παραπάνω συμπέρασμα γίνεται και οπτικά κατανοητό από το σχετικό boxplot.

```{r}
levels(rooms3)[c(1:6)]= "6orLess"
levels(rooms3)[c(2:3)]= "7or8"
levels(rooms3)[c(3:4)]= "9or10"
model30=aov(price~rooms3)
summary.aov(model30)
boxplot(price~rooms3)
PostHocTest(model30)
summary.lm(model30)
```
Η ανάλυση διακύμανσης του απλοποιημένου και βελτιωμένου μοντέλου εξακολουθεί δείχνει στατιστικά σημαντική επίδραση του παράγοντα rooms στην τιμή (p<0,001).
Από το PostHocTest βλέπουμε ότι όλα τα επίπεδα έχουν στατιστικά σημαντική διαφορά μεταξύ τους καθώς και την διαφορά που παρατηρείται στη μέση τιμή του σπιτιού όταν τα δωμάτια αυξάνονται από το κάθε επίπεδο στο άλλο (ενδεικτικά όταν τα δωμάτια αυξάνονται από το επίπεδο των '6orLess' στα '11' η μέση τιμή των σπιτιών αυξάνεται κατά 196.838).   

## Τζάκια - fireplaces
```{r}
fireplaces=factor(fireplaces)
model35=aov(price~fireplaces)
summary(model35)
PostHocTest(model35)
boxplot(price~fireplaces)

```
Η ανάλυση διακύμανσης δείχνει στατιστικά σημαντική επίδραση του παράγοντα fireplaces στην τιμή (p<0,001).
Ο Post hoc έλεγχος Tukey HSD δείχνει ότι δεν υπάρχει διαφορά ως προς την τιμή ανάμεσα στον αριθμό τζακιών από 1 έως 3. Επομένως μπούμε να χωρίσουμε τον παράγοντα στις κατηγορίες: 0, 1-3, 4. Το παραπάνω συμπέρασμα γίνεται και οπτικά κατανοητό από το σχετικό boxplot.
```{r}
levels(fireplaces)[c(2:4)]= "1-3"
model35=aov(price~fireplaces)
summary.aov(model35)
boxplot(price~fireplaces)
PostHocTest(model35)
summary.lm(model35)
```
Η ανάλυση διακύμανσης του απλοποιημένου και βελτιωμένου μοντέλου εξακολουθεί δείχνει στατιστικά σημαντική επίδραση του παράγοντα fireplaces στην τιμή (p<0,001).
Από το PostHocTest βλέπουμε ότι όλα τα επίπεδα έχουν στατιστικά σημαντική διαφορά μεταξύ τους καθώς και την διαφορά που παρατηρείται στη μέση τιμή του σπιτιού όταν τα τζάκια αυξάνονται από το κάθε επίπεδο στο άλλο (ενδεικτικά όταν τα τζάκια αυξάνονται από το επίπεδο των '0' στα '4' η μέση τιμή των σπιτιών αυξάνεται κατά 525.347). 

## Τύπος θέρμανσης - heating

Παρατηρούμε ότι η μεταβλητή heating έχει στατιστικά σημαντική επίδραση στην τιμή (p<0,001) όμως χαμηλή ερμηνευτική ισχύ της μεταβλητότητας της τιμής(R-squared= 5,97%). Από το PostHocTest βλέπουμε ότι όλα τα επίπεδα της μεταβλητής έχουν στατιστικά σημαντική διαφορά μεταξύ τους ως προς την τιμή. Από την ανάλυση του μοντέλου βλέπουμε την διαφορά που παρατηρείται στη μέση τιμή του σπιτιού όταν αλλάζει ο τύπος της θέρμανσης (ενδεικτικά όταν ο τύπος της θέρμανσης γίνεται από 'electric' 'hot air' η μέση τιμή των σπιτιών αυξάνεται κατά 64.467). Τα παραπάνω φαίνονται καθαρά και στο boxplot (όπου φαίνεται και η ύπαρξη πολλών outliers).

## Νεόδμητο - newConstruction
```{r}
model41=aov(price~newConstruction) 
summary.lm(model41)
# plot(newConstruction, price)
```
Παρατηρούμε ότι η μεταβλητή newConstruction έχει στατιστικά σημαντική επίδραση στην τιμή (p<0,001) όμως πολύ χαμηλή ερμηνευτική ισχύ της μεταβλητότητας της τιμής(R-squared= 2,5%). Δηλαδή η μέση τιμή των νέων σπιτιών είναι στατιστικά σημαντικά υψηλότερη αλλά η διακυμάνσεις στην τιμή πολύ λίγο οφείλονται στο αν είναι νέο το σπίτι. Συγκεκριμένα βλέπουμε ότι η διαφορά που παρατηρείται στη μέση τιμή του σπιτιού όταν αυτό είναι νεόδμητο είναι 73.800. Τα παραπάνω φαίνονται καθαρά και στο boxplot (όπου φαίνεται και η ύπαρξη πολλών outliers στα παλαιά σπίτια και καθόλου στα νέα).

Ωστόσο όπως δείχθηκε παραπάνω πολλές από τις μεταβλητές αυτές έχουν συσχέτιση μεταξύ τους (collinearity) και επομένως δε θα χρειαστούν όλες στο τελικό μοντέλο.

#3ο Μοντέλα με εξαρτημένη μεταβλητή την price (numerical & categorical)
Για το επόμενο μοντέλο θα λάβουμε υπόψη τη συμμεταβλητότητα των παραγόντων και θα επιλέξουμε να συμπεριλάβουμε αυτές με χαμηλό collinearity, επιλέγοντας μία συνεχή numerical (την landValue) μια διακριτή numerical που μπορεί να μετατραπεί σε Ordinal (την fireplaces) μια categorical (την heating) και μία binary (την centralAir)   
Θα ακολουθήσουμε διαδικασία ANCOVΑ σχηματίζοντας το μοντέλο με κύριες επιδράσεις και αλληλεπιδράσεις 2ης τάξης.

```{r}
model16= aov(price~ landValue +fireplaces +heating +centralAir +landValue:fireplaces+heating:centralAir +landValue:heating +centralAir:fireplaces +landValue:centralAir +fireplaces:heating)
summary.lm(model16)
summary(model16)
```

Παρατηρούμε ότι p<0.001<0.05 και επομένως το μοντέλο συνεισφέρει σημαντικά στην ερμηνεία της εξαρτημένης μεταβλητής. Επίσης εξηγεί το (R-squared) 45% της μεταβλητότητας της εξαρτημένης μεταβλητής(price).
Οι συντελεστές landValue, fireP, heating, centralAir,όπως και η αλληλεπίδραση των landValue με την heating είναι στατιστικά σημαντικοί αφού έχουν p<0.001<0.05 και επομένως συνεισφέρουν στην ερμηνεία της εξαρτημένης μεταβλητής. Επίσης σημαντική είναι η αλληλεπίδραση των heating και centralAir (p=0,015<0.05). Αντίθετα οι υπόλοιπες αλληλεπιδράσεις δεν είναι στατιστικά σημαντικές (έχουν p>0.05) και επομένως μπορούν να αφαιρεθούν από το μοντέλο.

```{r}
model17=update(model16, ~. -landValue:fireplaces -fireplaces:centralAir -landValue:centralAir -fireplaces:heating)
anova(model16,model17)
```
Παρατηρούμε ότι το μοντέλο από το οποίο αφαιρέθηκαν οι μη στατιστικά σημαντικοί όροι δεν έχει στατιστικά σημαντική διαφορά από το αρχικό αφού p=0.068>0.05. 
```{r}
plot(model17)
```
Παρατηρούμε η κατανομή των υπολοίπων ξεφεύγει από την κανονική (QQplot). Θα πειραματιστούμε λοιπόν με το λογαριθμικό μετασχηματισμό της εξαρτημένης μεταβλητής και της landValue.
```{r}
model18= aov(log(price)~ log(landValue) +fireplaces +heating +centralAir +heating:centralAir +landValue:heating)
plot(model18)
summary(model18)
```
Η κατανομή των καταλοίπων είναι σημαντικά βελτιωμένη, προσεγγίζοντας την κανονική. Στο νέο μοντέλο η αλληλεπίδραση των heating και centralAir δεν είναι στατιστικά σημαντική (p=0,09>0.05) και επομένως μπορεί να αφαιρεθούν από το μοντέλο.
Ακόμα φαίνεται πως η παρατήρηση #1011 έχει άσχημη επίδραση στην παλινδρόμηση και επομένως στο τελικό μοντέλο θα αφαιρεθεί.

```{r}
model19=update(model18, ~. -heating:centralAir, subset=(1:length(price)!=1011))
plot(model19)
summary.lm(model19)
```
Παρατηρούμε ότι το τελικό μοντέλο έχει στατιστικά σημαντική ερμηνευτική ισχύ της τιμής των σπιτιών (p-value: < 2.2e-16), και σχετικά καλή εξήγηση της μεταβλητότητας της (~40%). Όλοι οι όροι είναι στατιστικά σημαντικοί.

# Μοντέλα με εξαρτημένη μεταβλητή τη newConstruction
Θα προσπαθήσουμε να κατασκευάσουμε κατάλληλο μοντέλο πρόβλεψης για το αν είναι νέα κατασκευή και το βαθμό της συσχέτισης με αυτό των μεταβλητών: ποσοστό αποφοίτων κολεγίου της γειτονιάς, αριθμό δωματίων, τιμής και (εξ ορισμού) ηλικίας της κατασκευής.
```{r}
table(newConstruction)
tapply(price,newConstruction,mean)
```
Παρατηρούμε ότι οι παρατηρήσεις (σπίτια) δεν είναι ισομερώς κατανεμημένες στις δύο κατηγορίες.
```{r}
newCon = as.factor(newConstruction)
levels(newCon)[1]= 0
levels(newCon)[2]= 1
newCon=ifelse(newCon==1,0,1)

```

```{r}
boxplot(pctCollege~newConstruction)
boxplot(price~newConstruction)
boxplot(age~newConstruction)
boxplot(rooms~newConstruction)
```
Παρατηρούμε σε όλα τα boxplots πως τα επίπεδα της εξαρτημένης μεταβλητής που εξετάζουμε (newConstruction) φαίνεται να διαφέρουν για όλες τις εξαρτημένες που επιλέξαμε. Ακολούθως θα το διερευνήσουμε και με τον συντελεστή συσχέτισης του
Kendall.

```{r}
cor.test(pctCollege,newCon,method="kendall")
cor.test(price,newCon,method="kendall")
cor.test(age,newCon,method="kendall")
cor.test(rooms,newCon,method="kendall")
```
Παρατηρούμε ότι υπάρχει στατιστικά σημαντική θετική συσχέτιση του αν είναι νεόδμητο με την τιμή και με τον αριθμό των δωματίων.
Επίσης υπάρχει στατιστικά σημαντική αρνητική συσχέτιση του αν είναι νεόδμητο με το ποσοστό αποφοίτων κολεγίου της γειτονιάς και της ηλικίας της κατασκευής(εξ ορισμού).

Στην περίπτωσή μας έχουμε binary μεταβλητή απόκρισης. Ενδείκνυται λοιπόν η χρήση των γενικευμένων γραμμικών μοντέλων. Θα σχηματίσουμε το μοντέλο με τις κύριες επιδράσεις και τις αλληλεπιδράσεις 2ης τάξης.
```{r}
model80 = glm(newCon~pctCollege+rooms+age+price ,binomial)
summary(model80)
```
Όλοι όροι που φαίνονται σημαντικοί στο μοντέλο εκτός της τιμής μπορεί να αφαιρεθεί.

```{r}
model81 = glm(newCon~pctCollege+rooms+age,binomial)
summary(model81)
anova(model80,model81,test="Chi")
```
Τα δύο μοντέλα δε φαίνεται να διαφέρουν σημαντικά. Θα προτιμήσουμε το δεύτερο και απλούστερο μοντέλο που ουσιαστικά δεν χάνει κάτι αφαιρώντας τον όρο τιμή που δεν είναι στατιστικά σημαντικός.
Όπως είχαμε διαπιστώσει και παραπάνω ο αριθμός των δωματίων έχει θετική συσχέτιση με το αν είναι νεόδμητο ενώ αρνητική σχέση έχει το ποσοστό αποφοίτων κολεγίου της γειτονιάς και ασφαλώς η ηλικία του.