3-tiedon-korjaukset.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "d8ccfb2d",
   "metadata": {},
   "source": [
    "# 3. Tiedon korjaukset"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2314bfdd",
   "metadata": {},
   "source": [
    "## 3.1 Geometriakorjaukset"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f6bf1c43",
   "metadata": {},
   "source": [
    "### 3.1.1 Shapely explain_validity"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "26db18c4",
   "metadata": {},
   "source": [
    "<span style=\"color:red\">**Tämä vaihe ei ole pakollinen!**</span>\n",
    "\n",
    "Geometriakorjauksissa ETL-työkalu nojaa vahvasti Pythonin [Shapely-kirjastoon](https://shapely.readthedocs.io/en/stable/manual.html). Kaavaindekseille voidaan ajaa explain_validity-funktio, joka palauttaa tekstikenttänä tiedon, mikäli geometria itsessään on epävalidi. Esimerkiksi, jos kaavaindeksi risteää itseään, funktio palauttaa tekstikentän “Ring Self-intersection” sekä ongelmallisen sijainnin koordinaatit. Lisäksi voidaan laskea validien geometrioiden prosenttiosuus."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "33ecabcf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Käytettävien Python moduulien ja kehitettyjen funktioiden sisäänluku\n",
    "import geopandas as gpd\n",
    "from lib.geometry_validity import checkGeometryValidity, calculateGeometryValidityPercentage\n",
    "from lib.accessory_functions import saveGPKG"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2af5d0d8",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Lue master geopackagesta kaavatietoja, esim. kuntien yleiskaavat\n",
    "data = gpd.read_file(r\"<insert filepath here>.gpkg\", \n",
    "                     layer=\"<insert layer here>\")\n",
    "\n",
    "# Tarkista geometrioiden oikeellisuus\n",
    "data_validity = checkGeometryValidity(data=data, geom_column='geometry')\n",
    "\n",
    "# Tulosta tulokset\n",
    "print(data_validity['validity'].value_counts())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0dea31d3",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Voit myös laskea validien geometrioiden prosenttiosuuden\n",
    "calculateGeometryValidityPercentage(data_validity)\n",
    "\n",
    "# Et tarvitse 'validity' tietoa jatkossa, joten voit pudottaa sen skeemasta pois\n",
    "data_validity = data_validity.drop(columns=['validity'])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6468e13c",
   "metadata": {},
   "source": [
    "### 3.1.2 Shapely make_valid"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4788a477",
   "metadata": {},
   "source": [
    "Mikäli kaavaindeksin geometria on virheellinen, se korjataan Shapelyn make_valid-funktiolla. **Funktio voidaan ajaa riippumatta siitä, onko geometrialle korjaustarvetta tai ei!**\n",
    "\n",
    "Monissa korjaustapauksissa make_valid-funktio räjäyttää alkuperäisen geometrian useaksi kohteeksi, jotta geometriasta saadaan validi. Jos räjäytyksessä luodaan useampi kohde samalla geometriatyypillä, funktio palauttaa multi-geometriaa (MultiPolygon). Jos taas korjauksessa luodaan kohteita, joilla on eri geometriatyyppi, palautetaan GeometryCollection. Kaavojen tapauksessa vain aluemaiset geometriat ovat sallittuja, joten ETL-työkalu käsittelee mahdollisesti esiin nousevat GeometryCollectionit automaattisesti ja palauttaa ne aluemaisiksi (MultiPolygon/Polygon)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2b0b358b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kehitettyjen funktioiden sisäänluku\n",
    "from lib.repair_dataset_geometries import repairDatasetGeometries"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3ef2c41e",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Korjaa geometria tarvittaessa\n",
    "data_repaired = repairDatasetGeometries(data=data_validity, \n",
    "                                        geom_column='geometry')\n",
    "\n",
    "# Tallenna korjattu geometriatieto (vapaavalintainen, tallennetaan myös vaiheessa 3.1.3)\n",
    "# saveGPKG(data_repaired, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"yleiskaavat_kunta\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cc5ca7d7",
   "metadata": {},
   "source": [
    "### 3.1.3 Shapely simplify"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "73207526",
   "metadata": {},
   "source": [
    "Jotkin järjestelmät eivät vastaanota dataa, joissa reunasegmenteiltään (edge) yhtyvillä vierekkäisillä geometrioilla suoralla viivalla sijaitsevat (periaatteessa turhat) taitepisteet poikkeavat toisistaan.\n",
    "\n",
    "Tämä ETL-vaihe poistaa ylimääräiset taitepisteet suoran viivasegmentin päätepisteiden välistä hyödyntäen Shapely-kirjaston [Simplify-funktiota](https://shapely.readthedocs.io/en/stable/reference/shapely.simplify.html). Funktio säilyttää aineiston topologisen eheyden."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4e707fcf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kehitettyjen funktioiden sisäänluku\n",
    "from lib.repair_dataset_geometries import removeUnnecessaryVertices"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a9223cfd",
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Poista ylimääräiset taitepisteet\n",
    "data_repaired = removeUnnecessaryVertices(data_repaired, \n",
    "                                          geom_column='geometry', \n",
    "                                          tolerance=0.001) # oletusarvo\n",
    "\n",
    "# Tallenna korjattu geometriatieto\n",
    "saveGPKG(data_repaired, \n",
    "         outputfp=r\"<insert filepath here>.gpkg\", \n",
    "         layer_name=\"<insert layer here>\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "58126907",
   "metadata": {},
   "source": [
    "### 3.1.4 Muut geometriakorjaukset"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0e859674",
   "metadata": {},
   "source": [
    "Erään kunnan osalta CAD-aineiston paikkatietokonversio tuotti kaavaindekseille päällekkäisiä “haamugeometrioita”. ETL-työkalu filteröi nämä päällekkäisyydet aineiston osalta pois ominaisuustietovertailuun pohjautuen erillisellä skriptillä.\n",
    "\n",
    "Tähän tapaukseen voi käydä tutustumassa erikseen VOOKA-hankkeen [GitHub-sivujen kautta](https://github.com/ubigu/vooka). Erillisskriptit löytyvät muut-kansiossa. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "73c6afd1",
   "metadata": {},
   "source": [
    "## 3.2 Yleiskaavojen kuntarajatörmäykset"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "660d4dfe",
   "metadata": {},
   "source": [
    "### 3.2.1 Toleranssi-raja-arvot"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "787a8bf2",
   "metadata": {},
   "source": [
    "Kuntien yleiskaavojen ulkorajat noudattelevat kiinteistörajoista muodostettua kuntarajaa vaihtelevalla tarkkuudella. Tästä johtuen VOOKA-projekteissa tunnistettiin jokaisen Etelä- ja Pohjois-Savon kunnan osalta parhaiten toimiva tolaranssi-raja-arvo, jonka avulla kunnan yleiskaavarajat saadaan suoristettua suhteessa kiinteistörajoista muodostettuun kuntarajaan. **Muilla maantieteellisillä alueilla raja-arvot voivat olla hyvinkin erilaiset riippuen lähtöaineiston topologisesta laadusta! Suositeltava ensimmäinen testiarvo on 0.015!**\n",
    "\n",
    "Suluissa kuntakoodi:\n",
    "\n",
    "**Etelä-Savo**\n",
    "- Enonkoski (046): no data\n",
    "- Hirvensalmi (097): 0.00009\n",
    "- Juva (178): 0.015\n",
    "- Kangasniemi (213): 0.015\n",
    "- Mikkeli (491): 0.005\n",
    "- Mäntyharju (507): 0.015\n",
    "- Pertunmaa (588): 0.0005\n",
    "- Pieksämäki (593): no data\n",
    "- Puumala (623): 0.015\n",
    "- Rantasalmi (681): 0.015\n",
    "- Sulkava (768): 0.0005\n",
    "- Savonlinna (740): 0.05\n",
    "\n",
    "**Pohjois-Savo**\n",
    "- Iisalmi: 0.05\n",
    "- Joroinen: 0.015\n",
    "- Kaavi: 0.015\n",
    "- Keitele: 0.015\n",
    "- Kiuruvesi: 0.015\n",
    "- Kuopio: 0.0005\n",
    "- Lapinlahti: 0.015\n",
    "- Leppävirta: 0.0005\n",
    "- Pielavesi: 0.015\n",
    "- Rautavaara: 0.015\n",
    "- Rautalampi: 0.015\n",
    "- Siilinjärvi: 0.015\n",
    "- Sonkajärvi: 0.015\n",
    "- Suonenjoki: 0.015\n",
    "- Tervo: 0.015\n",
    "- Tuusniemi: 0.05\n",
    "- Varkaus: 0.015\n",
    "- Vesanto: 0.015\n",
    "- Vieremä: 0.015\n",
    "\n",
    "Näitä raja-arvoja on syytä käyttää ETL-prosessissa."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "72af696d",
   "metadata": {},
   "source": [
    "### 3.2.2 Eksklaavien käsittely"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4a86148f",
   "metadata": {},
   "source": [
    "Joillakin kunnilla voi olla palstoja varsinaisten hallinnollisten kuntarajojen ulkopuolella. Tällaiset palstat muodostavat ETL-prosessissa turhia ekslaaveja, joita ei haluta ottaa kuntarajakorjauksissa huomioon.\n",
    "\n",
    "Jos eksklaaveja halutaan filteröidä pois, tulee snapKuntakaavaToKuntaraja-funktiolle antaa valinnainen parametri \"remove_exclaves\"=True."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dcabf307",
   "metadata": {},
   "source": [
    "### 3.2.3 Enklaavien käsittely"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10eb3c81",
   "metadata": {},
   "source": [
    "#### 3.2.3.1 Kuntaenklaavit\n",
    "\n",
    "Suomen maakunnissa voi esiintyä tilanteita, joissa yksi kunta on toisen kunnan enklaavi. Tällainen erityistapaus löytyy Etelä-Savosta Enonkosken ja Savonlinnan väliltä. ETL-työkalu osaa käsitellä kuntaenklaavit automaattisesti.\n",
    "\n",
    "Jos jollakin kunnalla on kuntaenklaavi, tulee snapKuntakaavaToKuntaraja-funktiolle antaa valinnainen parametri \"kuntakoodi_remove_enclave\"=\"enklaavin kuntakoodi\". Mikäli parametria ei anneta, kuntarajakorjauksissa alue täyttyy virheellisesti.\n",
    "\n",
    "<p>\n",
    "    <img src=\"attachment:enklaavi.png\" width=\"500\" align=\"left\"/>\n",
    "</p>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1dc3b12",
   "metadata": {},
   "source": [
    "#### 3.2.3.2 Kiinteistörajaenklaavit"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43eb86c6",
   "metadata": {},
   "source": [
    "Kunnan sisällä voi lisäksi olla kiinteistöpalstoja, joiden omistus on toisella kunnalla. Näissä tilanteissa snapKuntakaavaToKuntaraja-funktiolle tulee antaa valinnainen parametri \"fill_holes\"=False. Mikäli toisen kunnan omistuksessa olevia kiinteistöpalstoja ei esiinny kunnan sisällä, parametria ei tarvitse ilmoittaa ETL-työkalulle."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "332497af",
   "metadata": {},
   "source": [
    "### 3.2.4 Kaavarajojen korjaus"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "de3b1605",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kehitettyjen funktioiden sisäänluku\n",
    "from lib.accessory_functions import readPickleData\n",
    "from lib.kaava_to_kuntaraja import snapKuntakaavaToKuntaraja"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0c8dcc9d",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kuntien yleiskaavat ja MML:n kiinteistöpalsta-aineisto, josta muodostetaan kunkin kunnan ulkorajat\n",
    "palstat = readPickleData(inputfp=r\"<insert filepath here>.pkl\")\n",
    "kunta_kaavadata = gpd.read_file(r\"<insert filepath here>.gpkg\", layer=\"<insert layer here>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6236932e",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kaavarajojen oikaisu kunta kerrallaan! Katso lisätiedot parametreista kaava_to_kuntaraja.py docstringista!\n",
    "\n",
    "# Funktio palauttaa kaikki annetun kaavadatan rivit korjaten kuntakoodin mukaisen kunnan yleiskaavarajat\n",
    "# Lisää \"fill_holes\", remove_exclaves\" tai \"kuntakoodi_remove_enclave\" -parametri tarvittaessa!\n",
    "\n",
    "kunta_kaavadata = snapKuntakaavaToKuntaraja(kaavadata=kunta_kaavadata,\n",
    "                                            palstadata=palstat,\n",
    "                                            kuntakoodi='<insert kuntakoodi here>',\n",
    "                                            tolerance=0.015) #Vaihda kunnan mukaan!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "13d37c36",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Tallennus, kun kaikkien kuntien yleiskaavarajat on korjattu\n",
    "saveGPKG(kunta_kaavadata, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"<insert layer here>\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d4c220aa",
   "metadata": {},
   "source": [
    "## 3.3 Ominaisuustietokorjaukset"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2b4b2f5",
   "metadata": {},
   "source": [
    "Päivämäärät (esim. kaavan hyväksymispäivämäärä ja voimaantulopäivämäärä) voi olla ilmoitettu kunnilta saaduissa kaava-aineistoissa hyvin vaihtelevissa muodoissa sekä osin puutteellisina. Eri kunnilla voi olla käytössä päivämääräformaatteina esimerkiksi DD.MM.YYYY, YYYYMMDD sekä YYYY. Lisäksi tieto voi olla ilmoitettu päivämäärä-tietotyypin sijasta tekstikenttänä (string).\n",
    "\n",
    "ETL-prosessissa on mukana funktio, joka kääntää tekstimuodossa olevan tabulaarisen tiedon date-tietotyypiksi notaatiolla YYYY-MM-DD. Mikäli lähtötietona on ainoastaan vuosi, päivämääräksi annetaan kyseisen vuoden tammikuun ensimmäinen päivä."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f5f6ff9a",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kehitettyjen funktioiden sisäänluku\n",
    "from lib.accessory_functions import stringColumnToDate"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "322bf77d",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Lue master geopackagesta haluamasi data\n",
    "data_date = gpd.read_file(r\"<insert filepath here>.gpkg\", layer=\"<insert layer here>\")\n",
    "\n",
    "# Korjaa tarvittavat päivämäärät, jokaisen osalta esim:\n",
    "data_1 = stringColumnToDate(input_df=data_date, date_column='hyvaksymispvm')\n",
    "data_2 = stringColumnToDate(input_df=data1, date_column='vahvistamispvm')\n",
    "data_repaired = stringColumnToDate(input_df=data_2, date_column='voimaantulopvm')\n",
    "\n",
    "# Tallenna korjattu tieto\n",
    "saveGPKG(data_repaired, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"<insert layer here>\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}