1_Start.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "b5564fe2",
   "metadata": {},
   "source": [
    "<img src=\"https://www.bwhpc-c5.de/img/layout/kit_logo_V2.png\" width=\"200\" /> <img src=\"images/HochschuleEsslingen_Logo_RGB_DE.png\" width=\"200\" /> <img src=\"images/Konstanz_Logo.svg\" width=\"200\" /> <img src=\"images/KIT_Logo.png\" width=\"200\" />"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f0916047-3813-4ac2-88d1-2602c6e9dc57",
   "metadata": {},
   "source": [
    "<img src=\"images/Python_logo_and_wordmark.svg.png\" width=\"200\" /> <img src=\"images/1200px-Pandas_logo.svg.png\" width=\"200\" /> <img src=\"images/2880px-NumPy_logo_2020.svg.png\" width=\"200\" /> <img src=\"images/1280px-Scikit_learn_logo_small.svg.png\" width=\"200\" /> <img src=\"images/Seaborn.png\" width=\"200\" /> <img src=\"images/dask_horizontal_white_no_pad.svg\" width=\"200\" style=\"background-color:black\" /> "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d6253692-38a0-49ac-81dc-dc6b4845b1b5",
   "metadata": {},
   "source": [
    "# Data Science with Python on HPC"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cdfb4139-3331-4699-ad6e-43fe9cf70e4a",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Überblick / Agenda\n",
    "\n",
    "14:00   Start Jupyter Einführung, Notebook bereitstellen<br>\n",
    "14:35   Grundlagen Python (mit Environment)<br>\n",
    "15:00   NumPy<br>\n",
    "15:20   Pandas<br>\n",
    "15:50      -- Pause -- <br>\n",
    "16:00   Machine Learning<br>\n",
    "16:30   Dask / Dask-MPI<br>\n",
    "\n",
    "## Jupyter auf bwUniCluster\n",
    "\n",
    "Für die Nutzung von Jupyter auf bwUniCluster muss ein Zugang zum Cluster existieren.\n",
    "\n",
    "Anleitung zum Einrichten eines Zugangs:\n",
    "\n",
    "https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access\n",
    "\n",
    "Link für die Registrierung:\n",
    "\n",
    "https://bwidm.scc.kit.edu/\n",
    "\n",
    "Um Jupyter starten zu können muss auf dem bwUniCluster ein HOME-Laufwerk eingerichtet sein. Hierfür muss ein erfolgreicher Login über SSH erfolgt sein. Beim Login wird das entsprechende Verzeichnis automatisch angelegt.\n",
    "\n",
    "### Linux\n",
    "\n",
    "> SSH-Befehl für den Login auf bwUniCluster:\n",
    ">\n",
    "> ```bash\n",
    "> ssh <Hochschulkürzel>_<User-ID>@bwunicluster.scc.kit.edu\n",
    "> ```\n",
    ">\n",
    "> Beispiel: es_mmuster@bwunicluster.scc.kit.edu\n",
    ">\n",
    "> Nach erfolgreichem Login kann direkt per exit-Befehl:\n",
    ">\n",
    "> ```bash\n",
    "> exit\n",
    "> ```\n",
    "\n",
    "### Windows\n",
    "\n",
    "> Seit Windows 10 verfügt auch Windows über einen integrierten SSH-Client. Um diesen zu nutzen, reicht es die Eingabeaufforderung zu starten (Windows-Taste) und den folgenden Befehle einzugeben:\n",
    ">\n",
    "> ```bash\n",
    "> ssh <Hochschulkürzel>_<User-ID>@bwunicluster.scc.kit.edu\n",
    "> ```\n",
    ">\n",
    "> Siehe auch https://docs.microsoft.com/de-de/windows/terminal/tutorials/ssh.\n",
    "\n",
    "Anschließend kann die Jupyter-Website geöffnet werden. Dies ist nur aus dem Netz der beteiligten Hochschulen heraus möglich (VPN Zugang erforderllich).\n",
    "\n",
    "Link zu Jupyter auf bwUniCluster:\n",
    "\n",
    "https://uc2-jupyter.scc.kit.edu/"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "29fbf9f3-d8fc-4939-abe3-cc7230ac4aae",
   "metadata": {},
   "source": [
    "### Ressourcenauswahl (Job-Parameter)\n",
    "\n",
    "Zum Starten einer Jupyter-Instanz wird ein interaktiver Job generiert, der Ressourcen auf bwUniCluster reserviert. Welche Ressourcen wie lange reserviert werden, kann im Menu beim Starten der Instanz ausgewählt werden.\n",
    "\n",
    "![title](images/bwUniCluster_Jupyter_Select_Ressources.png)\n",
    "\n",
    "Wir werden im Workshop später Dask benutzen, um aus einer Jupyter-Instanz heraus weitere Jobs zu starten. Daher reicht uns für die initiale Instanz ein einzelner Core für 4 Stunden mit einer Partition (4GB Memory) und dem einfachen Basemodule:\n",
    "\n",
    "![title](images/bwUniCluster_Jupyter_Select_Ressources2.png)\n",
    "\n",
    "Nach Klick auf Spawn wird der generierte Job submitted und die für den Job benötigten Ressourcen angefordert. Je nach aktueller Auslastung des Clusters und dem für die jeweilige Hochschule noch verfügbaren Kontingent kann dieser Vorgang unterschiedlich viel Zeit erfordern. Während die Ressourcen angefordert werden, wird folgender Text angezeigt:\n",
    "\n",
    "![title](images/bwUniCluster_Jupyter_Pending.png)\n",
    "\n",
    "Bei hoher Auslastung des bwUniClusters kann es beim Anfordern der Ressourcen zu einem Timeout kommen:\n",
    "\n",
    "![title](images/Spawn_Failed_Timeout.png)\n",
    "\n",
    "In einem solchen Fall kann über den \"Home\"-Button im Menu zur Schaltfläche \"Start My Server\" gewechselt werden. Über diese kann die Anforderung erneut getätigt werden.\"\n",
    "\n",
    "![title](images/Home_Button.png)\n",
    "\n",
    "![title](images/Start_My_Server.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c997532c-6375-4711-8d19-8d60984eedbc",
   "metadata": {},
   "source": [
    "### Jupyter beenden\n",
    "\n",
    "Wenn Jupter vorzeitig beendet werden soll, so kann im Menu über \"File\"->\"Hub Control Panel\" zur Schaltfläche \"Stop My Server\" gewechselt werden. Diese beendet Jupyter und gibt die angeforderten Ressourcen frei.\n",
    "\n",
    "![title](images/Hub_Control_Panel.png)\n",
    "\n",
    "![title](images/Stop_My_Server.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "234ba4ee-48f3-4ee4-89b9-c9d37a6671bd",
   "metadata": {},
   "source": [
    "## Workshop-Notebooks\n",
    "\n",
    "Die für den Workshop notwendigen Jupyter-Notebooks liegen in dem github Repository https://github.com/julianruess/workshop-parallel-jupyter.\n",
    "\n",
    "Um diese Notebooks im Jupyter auf bwUniCluster verfügbar zu machen muss das Repository in ein lokales Verzeichnis des Nutzers geklont werden. Hierfür muss ein Terminal geöffnet werden. Dies kann über File->New->Terminal geschehen:\n",
    "\n",
    "![title](images/File-New-Terminal.png)\n",
    "\n",
    "Nach dem öffnen eines neuen Terminals, zeigt das Terminal auf das HOME-Verzeichnis des aktuellen Benutzers. Dieses Verzeichnis liegt im zentralen Lustre File System. Dateien und Verzeichnisse/Ordner die hier angelegt werden bleiben zwischen einzelnen Sessions erhalten und sind von jedem Node des Clusters aus erreichbar.\n",
    "\n",
    "Im HOME-Verzeichnis benötigen wir ein neues Verzeichnis, welches zum Klonen des git Repositories dient. Dieses kann über \"mkdir\" (make directory) angelegt werden. Das neue Verzeichnis kann beispielsweise \"git\" heißen.\n",
    "\n",
    "```bash\n",
    "mkdir git\n",
    "```\n",
    "\n",
    "Ob das Erstellen des Verzeichnisses geklappt hat, kann mit \"ls\" (list) überprüft werden. Die Ausgabe von ls muss das Verzeichnis \"git\" enthalten.\n",
    "\n",
    "```bash\n",
    "ls\n",
    "```\n",
    "\n",
    "Nachdem das Verzeichnis erstellt wurde kann mit \"cd\" (change directory) in das neue Verzeichnis gewechselt werden.\n",
    "\n",
    "```bash\n",
    "cd git\n",
    "```\n",
    "\n",
    "Nach dem Wechsel des Verzeichnisses wird am Zeilenbeginn nicht länger der Benutzernamen (das HOME-Verzeichnis), sondern der Name des neu angelegten Verzeichnisses (\"git\") angezeigt.\n",
    "\n",
    "In das aktuell ausgewählte Verzeichnis kann dann das git Repository geklont werden. Hierfür steht der Befehl \"git clone\" zur Verfügung:\n",
    "\n",
    "```bash\n",
    "git clone https://github.com/julianruess/workshop-parallel-jupyter.git\n",
    "```\n",
    "\n",
    "Nachdem der Klone-Vorgang abgeschlossen ist, kann über das Ordner-Symbol am linken Rand von Jupyter in den git Ordner und darin in den Ordner workshop-parallel-jupyter navigiert werden. Hier sind alle für den Workshop notwendigen Notebooks enthalten. Diese können per Doppelklick geöffnet werden.\n",
    "\n",
    "![title](images/Jupyter_choose_git_folder.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "532bd687-3da2-4f95-90fb-250f4adb9251",
   "metadata": {},
   "source": [
    "## Evaluation\n",
    "\n",
    "Am Ende des Workshops bitten wir um die Teilnahme an einer kurzen Evaluation:\n",
    "\n",
    "https://evasys.hs-esslingen.de/evasys/online.php?p=Jupyter\n",
    "\n",
    "![title](images/QRCode_Evaluationsbogen_Workshop_Jupyter.png)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "3b3e3e4a-656f-4658-9504-cb39a99b9618",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}