balance_ton_taudis.Rmd

---
title: "Enquête citoyenne sur l'habitat indigne"
subtitle: "Analyse de données"
author: "E. Gallic"
date: "`r Sys.Date()`"
output:
  html_document:
    highlight: pygments
    toc: true
    toc_depth: 6
    toc_float: true
    number_sections: true
---

```{r knitr_init, echo=FALSE, cache=FALSE, include=FALSE}

# keep_md: yes
# knit: (function(inputFile, encoding) {
#   ofi <- paste0(gsub(".Rmd","",inputFile),"_.md");
#   rmarkdown::render(inputFile, encoding=encoding, output_file=ofi) })

library(knitr)
library(rmdformats)

library(tidyverse)
library(stringr)
library(data.table)
library(pbapply)
library(dplyrExtras)
library(sp)
library(magrittr)
library(lubridate)
## Global options
options(max.print="75")
opts_chunk$set(echo=FALSE,
	             cache=TRUE,
               prompt=FALSE,
               tidy=FALSE,
               message=FALSE,
               warning=FALSE)
opts_knit$set(width=75)

knitr::opts_chunk$set(echo = TRUE)
```


Dans ce document, nous tentons de fournir quelques statistiques descriptives relatives aux réponses apportées à l'enquête citoyenne sur le logement indigne, initiative à l'origine de [lamarseillaise.fr](http://www.lamarseillaise.fr/component/k2/73228-enquete-citoyenne-pour-un-etat-des-lieux-de-l-habitat-indigne-a-marseille) en partenariat avec [le Donut infolab](https://www.ledonut-marseille.com/), [Emmaüs Pointe-Rouge](http://www.emmaus-pointerouge.com/#page_1/) et [Droit au logement](https://www.droitaulogement.org/). Les réponses anonymisées sont disponibles sur la [plateforme Opendatasoft de balancetontaudis](https://balancetontaudis.opendatasoft.com/explore/dataset/enquete-citoyenne-logement-indigne-anonymise/table/).




# Quelques statistiques descriptives

Commençons par charger les données de l'enquête citoyenne sur le logement indigne (nous les avons géolocalisées ; la méthode est expliquée en [Annexe](#geocodage-des-adresses)).

```{r}
load("data/enquete_geocoded.rda")
head(df)
```


Le nombre de réponses s'élève à `r nrow(df)`.

Pour l'heure, concentrons-nous sur les observations marseillaise : 

```{r}
df_marseille <- 
  df %>% 
  filter(result_city %in% c("Marseille"))
```

Le nombre de réponses à Marseille s'élève à `r nrow(df_marseille)`.


Les individus ayant participé à l'enquête ont répondu à la question suivante : "Le logement a déjà été frappé d'un arrêté de péril", les réponses proposées étant à choisir parmi les propositions suivantes :

- Oui
- Non
- Je ne sais pas.

Intéressons-nous spécifiquement à cette question pour commencer.
```{r}
df_marseille <- 
  df_marseille %>% 
  rename(peril = `a déjà été frappé d'un arrêté de péril imminent`)

df_marseille %>% 
  group_by(peril) %>% 
  summarise(Freq = n()) %>% 
  ungroup() %>% 
  mutate(Pourcentage = (Freq / sum(Freq) * 100) %>% round(2)) %>% 
  kable()
```

Donnons à présent un aperçu géographique de la réponse, en chargeant un fichier *shapefile* des quartiers de Marseille, récupéré sur [data.gouv.fr](https://www.data.gouv.fr/fr/datasets/quartiers-de-marseille/).

```{r}
library(tidyverse)
library(rgdal)
library(maptools)

# Charger les donnees geocodees de l'enquete (cf geocoder_adresses.R)
load("data/enquete_geocoded.rda")

# Carte des quartiers de Marseille
marseille <- readOGR(dsn="data/cartes/quartiersmarseille/", layer="contours_quartiers_Marseille")
# Étape pour changer la projection de la carte
marseille <- spTransform(marseille, CRS("+proj=longlat +ellps=GRS80"))
# Pour permettre la jointure des objets géométriques
marseille@data$id <- rownames(marseille@data)
# Transformer en data frame pour fournir à ggplot()
marseille_points <- fortify(marseille, region="id")
# Permet d'éviter des trous éventuels
marseille_df <- left_join(marseille_points, marseille@data, by="id") %>% 
  tbl_df()
```

Affichons les réponses à la question sur le statut du logement :
```{r}
ggplot() +
  geom_polygon(data = marseille_df, aes(x = long, y = lat, group = group), fill = "white", colour = "grey80") +
  geom_point(data = df_marseille, aes(x = longitude, y = latitude), colour = "black", fill = "red", shape = 21, size = .5) +
  facet_wrap(~peril) +
  coord_quickmap() +
  labs(x = NULL, y = NULL) +
  theme(axis.text = element_blank(), axis.ticks = element_blank()) +
  ggtitle("A déjà été frappé d'un arrêté de péril imminent")
```

# Analyse du texte

Les participants à l'enquête pouvaient accompagner leur réponse d'une description du logement dans lequel ils vivent. Cette section s'attache à analyser le contenu de ces textes.

```{r}
df <- 
  df %>% 
  rename(etat_logement = `état du logement`)
```

Chargeons le *package* `tm`, puis créons le corpus de réponses.

```{r}
library(tm)
my_stopwords <- c(stopwords('french'))
etat_logement <- Corpus(VectorSource(unique(df$etat_logement)))

```


Un peu de nettoyage (retrait de la ponctuation, des *stop words*, passage en minuscule et conservation de la racine des mots uniquement) :

```{r}
opinions_tdm <- 
  TermDocumentMatrix(etat_logement,
                     control = list(removePunctuation = TRUE,
                                    stopwords = my_stopwords,
                                    # stopwords=FALSE,
                                    tolower = TRUE,
                                    stemming = TRUE,
                                    removeNumbers = FALSE,
                                    bounds = list(global = c(1, Inf))))
```

Regardons la fréquence d'apparition de chaque mot obtenu dans le corpus, en triant par ordre décroissant de la fréquence.

```{r}
opinions_tdm_matrix <- as.matrix(opinions_tdm)
freq_mots <- opinions_tdm_matrix %>% rowSums()
freq_mots_df <- data.frame(mot = names(freq_mots), freq = freq_mots) %>% 
  tbl_df() %>% 
  arrange(desc(freq))

freq_mots_df %>% filter(freq > 10) %>% 
  DT::datatable()
```

Avec un nuage de mots :

```{r}
library(wordcloud)
wordcloud(words = freq_mots_df$mot, freq = freq_mots_df$freq, min.freq = 10,
          max.words=200, random.order=FALSE, rot.per=0.35, 
          colors=brewer.pal(8, "Dark2"))
```

Les deux sorties précédentes mettent bien en évidence l'intérêt fort pour l'état des murs et des plafonds, à travers le prise de la fissure.


La présence du mot "depuis" laisse penser qu'il serait intéressant de se pencher sur les bigrammes.





# Annexes

## Géocodage des adresses

Ces quelques lignes de code expliquent comment géocoder les adresses, à l'aide de l'[API adresse.data.gouv.fr](https://adresse.data.gouv.fr/csv#preview).

Chargeons les données brutes dans un premier temps.

```{r, eval=F}
# Geocoder les adresses de l'enquete citoyenne sur l'habitat indigne
library(tidyverse)
library(magrittr)
library(jsonlite)
library(httr)

df <- read_csv2("data/enquete-citoyenne-logement-indigne-anonymise.csv")
```

Créons une nouvelle variable dans le tableau de données permettant d'obtenir l'adresse incluant la rue et le code postal.


```{r, eval=F}
library(ggmap)
df <- df %>% 
  mutate(
    id = row_number(),
    adresse_geo = str_c(Adresse, ", ", `Code postal`))
```

Quelques corrections manuelles sur certaines adresses :

```{r, eval=F}
df <- 
  df %>% 
  mutate(adresse_geo = ifelse(adresse_geo == "les balustres , 1, place du recteur jules blache, 13013", "1 place du recteur jules blache, 13013", adresse_geo),
         adresse_geo = ifelse(adresse_geo == "78 au 82 rue Bernard du Bois, 13002", "80 rue Bernard du Bois, 13002", adresse_geo),
         adresse_geo = ifelse(adresse_geo == "22 rue François Moisson donnant également sur la rue des Phocéens 13002 Marseille, 13002", "22 rue François Moisson, 13002", adresse_geo),
         adresse_geo = ifelse(adresse_geo %in% c("TOULON REPUBLIQUE CRIMINELLE 394 BLD FENELON 83200 TOULON SIGNALé depuis 6 MOIS au Syndic TRANSACT au Maire de Toulon et au MINISTERE DU LOGEMENT. A ce jour aucune nouvelle...., 83200",
                                                 "394 BLD FENELON, 83200",
                                                 "394 BLD FENELON 83200 TOULON, 83200"), "394 Boulevard Fenelon, 83200", adresse_geo),
         adresse_geo = ifelse(adresse_geo == "80 rue montecristo 13004 dernier local en rentrant sur la droite avant de rentrer dans le parking weldom, 13004", "80 rue monte cristo, 13004", adresse_geo),
         adresse_geo = ifelse(adresse_geo == "300 avenue de La Capelette derrière l’immeuble au fond de la cour, 13010", "300 avenue de La Capelette, 13010", adresse_geo),
         adresse_geo = ifelse(adresse_geo == "84 rue carnot a st omer nous vivons dans le noir rempli d'humidité le bâtiment ce rempli d'eau de champignons et on peut plus vivre même dans respiré, 62500", "84 Rue Carnot 62500 Saint-Omer", adresse_geo)
  )
```


Ensuite, créons une fonction pour géocoder une adresse. Cette fonction interroge l'API adresse.data.gouv.fr et se charge de placer le premier résultat retourné dans un tableau de données.

```{r, eval=F}
#' geocoder_adresse
#' Utilise l'API adresse.data.gouv.fr pour geocoder
#' une adresse
#' @param q recherche plein texte
#' q <- df$adresse_geo[i]
geocoder_adresse <- function(q){
  lien_api <- str_c("https://api-adresse.data.gouv.fr/search/")
  reponse <- GET(lien_api, query = list(q = q, limit = "1"))
  response_content <- content(reponse)
  
  variable_names <- 
    c("longitude", "latitude", "result_label", "result_score", "result_type",
    "result_id", "result_housenumber", "result_name", "result_street", "result_postcode",
    "result_city", "result_context", "result_citycode")
  
  if(length(response_content$features)){
    # Recuperer les coordonnees
    longitude <- response_content$features[[1]]$geometry$coordinates[[1]]
    latitude <- response_content$features[[1]]$geometry$coordinates[[2]]
    result_label <- response_content$features[[1]]$properties$label
    result_score <- response_content$features[[1]]$properties$score
    result_type <- response_content$features[[1]]$properties$type
    result_id <- response_content$features[[1]]$properties$id
    result_housenumber <- response_content$features[[1]]$properties$housenumber
    result_name <- response_content$features[[1]]$properties$name
    result_street <- response_content$features[[1]]$properties$street
    result_postcode <- response_content$features[[1]]$properties$postcode
    result_city <- response_content$features[[1]]$properties$city
    result_context <- response_content$features[[1]]$properties$context
    result_citycode <- response_content$features[[1]]$properties$citycode
  }else{
    for(var in variable_names){
      assign(var, NA)
    }
  }
  
  for(var in variable_names){
    if(is.null(get(var))){
      assign(var, NA)
    }
  }
  
  
  data.frame(
    q = q,
    longitude = longitude,
    latitude =latitude,
    result_label = result_label,
    result_score = result_score,
    result_type = result_type,
    result_id = result_id,
    result_housenumber = result_housenumber,
    result_name = result_name,
    result_street = result_street,
    result_postcode = result_postcode,
    result_city = result_city,
    result_context = result_context,
    result_citycode = result_citycode
  )
}# Fin de geocoder_adresse()
```

Il s'agit ensuite de boucler sur chacune des adresses et d'interroger l'API à leur sujet.

```{r, eval=F}
adresses_geo <- vector("list", length(df$adresse_geo))
pb <- txtProgressBar(min = 0, max = length(adresses_geo), style = 3)
for(i in 1:length(adresses_geo)){
  adresse_tmp <- df$adresse_geo[i]
  geocode_tmp <- try(geocoder_adresse(adresse_tmp))
  if(!inherits(geocode_tmp, "try-error")){
   # S'il n'y a pas eu d'erreur
    adresses_geo[[i]] <- geocode_tmp %>% mutate(id = df$id[i])
  }else{
    stop("toto")
  }
  setTxtProgressBar(pb, i)
}
```

Le résultat de la géolocalisation propose un score de crédibilité de l'appariement entre la requête et la réponse fournie. En regardant les observations pour lesquelles ce score est faible, on peut repérer quelques anomalies et tenter de les corriger. Pour quelques adresses (seulement 4 à l'heure actuelle), aucune correction ne semble possible.

```{r, eval=F}
adresses_geo %>%
  bind_rows() %>%
  tbl_df() %>%
  filter(result_score < 0.4)
```

Une fois l'ensemble des adresses géolocalisées, nous pouvons ajouter les informations au tableau de données contenant les réponses de l'enquête, puis sauvegarder le résultat.


```{r, eval=F}
# Ajouter les adresses dans les donnees initiales
df <- df %>% 
  left_join(
    adresses_geo %>%
      bind_rows() %>%
      tbl_df() %>%
      filter(result_score>=0.4),
    by = c("adresse_geo" = "q", "id" = "id")
  )

save(df, file = "data/enquete_geocoded.rda")

```