2-produceTrainingSet.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Produce training and test dataset from cleaned data\n",
    "\n",
    "Change log\n",
    "- In loop for clean_goals table, end index changed to 18 (instead of 17)  \n",
    "    `for ix in range(2,18)`\n",
    "- Result saved in new table: `Training_set_new`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import sqlite3\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def fetchTrainingData(db, sqlCmd):\n",
    "    try:\n",
    "        conn = sqlite3.connect(db)\n",
    "        cursor = conn.cursor()\n",
    "        cursor.execute(sqlCmd)\n",
    "        result = cursor.fetchall()\n",
    "        conn.commit()\n",
    "        cursor.close()\n",
    "        return result\n",
    "\n",
    "    except sqlite3.Error as error:\n",
    "        print(\"Failed to run sqlite command\", error)\n",
    "    finally:\n",
    "        if (conn):\n",
    "            conn.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "db_path = 'db/categorised_swecris.sqlite'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "init = False\n",
    "for ix in range(2,18):\n",
    "    sqlCmd = f'''\n",
    "        SELECT abstract, Formas1 AS class FROM clean_swecris\n",
    "            WHERE class == '{ix}' ORDER BY RANDOM() LIMIT 99\n",
    "        '''\n",
    "    result = np.array(fetchTrainingData(db_path, sqlCmd))\n",
    "    if (not init and result.size > 0):\n",
    "        training_data_Formas = np.copy(result)\n",
    "        init = True\n",
    "    elif (result.size > 0):\n",
    "        training_data_Formas = np.vstack((training_data_Formas, result))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "init = False\n",
    "for ix in range(2,18):\n",
    "    sqlCmd = f'''\n",
    "        SELECT abstract, Self1 AS class FROM clean_swecris \n",
    "            WHERE Self1 == '{ix}' ORDER BY RANDOM()\n",
    "            LIMIT\n",
    "                CASE \n",
    "                    WHEN (99 - (SELECT count(Formas1) FROM clean_swecris WHERE Formas1 == '{ix}')) > 0\n",
    "                        THEN (SELECT 99 - count(Formas1) FROM clean_swecris WHERE Formas1 == '{ix}')\n",
    "                    ELSE 0\n",
    "                END;\n",
    "        '''\n",
    "    result = np.array(fetchTrainingData(db_path, sqlCmd))\n",
    "    if (not init and result.size > 0):\n",
    "        training_data_Vinnova = np.copy(result)\n",
    "        init = True\n",
    "    elif (result.size > 0):\n",
    "        training_data_Vinnova = np.vstack((training_data_Vinnova, result))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "init = False\n",
    "for ix in range(2,18):\n",
    "    sqlCmd = f'''\n",
    "        SELECT abstract, goals AS class FROM clean_goals\n",
    "            WHERE class == '{ix}';\n",
    "        '''\n",
    "    result = np.array(fetchTrainingData(db_path, sqlCmd))\n",
    "    if (not init and result.size > 0):\n",
    "        training_data_Goals = np.copy(result)\n",
    "        init = True\n",
    "    else:\n",
    "        training_data_Goals = np.vstack((training_data_Goals, result))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# training_data_Goals"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "training_data = np.vstack((training_data_Goals, training_data_Formas, training_data_Vinnova))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "training_data_df = pd.DataFrame(data=training_data[:,:], columns=['abstract', 'class'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>abstract</th>\n",
       "      <th>class</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ingen hung hung vara en främst dödsorsak i vär...</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>god hälsa och välbefinnande god hälsa vara en ...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>god utbildning för alla utbildning vara en gru...</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>jämställdhet jämställdhet mellan kvinna och ma...</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>ren vatten och sanitet för alla vatten vara en...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            abstract class\n",
       "0  ingen hung hung vara en främst dödsorsak i vär...     2\n",
       "1  god hälsa och välbefinnande god hälsa vara en ...     3\n",
       "2  god utbildning för alla utbildning vara en gru...     4\n",
       "3  jämställdhet jämställdhet mellan kvinna och ma...     5\n",
       "4  ren vatten och sanitet för alla vatten vara en...     6"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "training_data_df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "training_data_df['len'] = training_data_df['abstract'].apply(lambda s : len(s))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<AxesSubplot:ylabel='Frequency'>"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYUAAAD4CAYAAAAD6PrjAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjMuMiwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8vihELAAAACXBIWXMAAAsTAAALEwEAmpwYAAAVWElEQVR4nO3dfbBc9X3f8ffHAvNg4wGKIEISEfbIToUnFvhGdUra2sYpBKeWaUsqz9hVWhw5LUztJjOx5HRi/IdmaMc2diaxG9mQKPgBy4+o2G4iSEjGMw6ywBgjHopSEbiWim6cuICbEQG+/WOPDou092qFdHZ1732/Znb2nN+e397v/ri6H37naVNVSJIE8JJxFyBJOn4YCpKklqEgSWoZCpKklqEgSWqdMO4CjsZZZ51Vy5YtG3cZkjSr3HXXXX9dVQsHvTarQ2HZsmXs2LFj3GVI0qyS5K+me83dR5KklqEgSWoZCpKklqEgSWoZCpKklqEgSWoZCpKklqEgSWp1HgpJFiT5bpJbm/Uzk2xL8nDzfEbfthuS7EryUJJLu65NkvRCo5gpvBd4oG99PXB7VS0Hbm/WSbICWANcAFwGfCLJghHUd9xbtv7r7UOSutRpKCRZArwV+HRf82pgc7O8GXh7X/vNVbW/qnYDu4BVXdYnSXqhrmcKHwN+A3iur+2cqtoL0Dyf3bQvBh7r226yaXuBJOuS7EiyY2pqqpOiJWm+6iwUkvwisK+q7hq2y4C2Q75Auqo2VdVEVU0sXDjwJn+SpBepy7ukXgy8LcnlwMnAK5J8Bng8yaKq2ptkEbCv2X4SWNrXfwmwp8P6JEkH6WymUFUbqmpJVS2jdwD5T6rqncBWYG2z2VrglmZ5K7AmyUlJzgeWA9u7qk+SdKhxfJ/CdcCWJFcBjwJXAlTVziRbgPuBZ4Crq+rZMdQnSfPWSEKhqu4A7miWfwhcMs12G4GNo6hJknQor2iWJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLUMBUlSy1CQJLU6C4UkJyfZnuR7SXYm+VDTfm2SHyS5p3lc3tdnQ5JdSR5KcmlXtUmSBuvy6zj3A2+uqqeSnAh8K8k3m9eur6oP92+cZAWwBrgAOBe4Lcmr/Z5mSRqdzmYK1fNUs3pi86gZuqwGbq6q/VW1G9gFrOqqPknSoTo9ppBkQZJ7gH3Atqq6s3npmiT3JrkxyRlN22Lgsb7uk03bwe+5LsmOJDumpqa6LF+S5p1OQ6Gqnq2qlcASYFWS1wKfBF4FrAT2Ah9pNs+gtxjwnpuqaqKqJhYuXNhJ3ZI0X43k7KOq+hFwB3BZVT3ehMVzwKd4fhfRJLC0r9sSYM8o6pMk9XR59tHCJKc3y6cAbwEeTLKob7MrgPua5a3AmiQnJTkfWA5s76o+SdKhujz7aBGwOckCeuGzpapuTXJTkpX0dg09ArwHoKp2JtkC3A88A1ztmUeSNFqdhUJV3QtcOKD9XTP02Qhs7KomSdLMvKJZktQyFCRJLUNBktQyFCRJLUNBktQyFCRJLUNBktQyFCRJLUNBktQyFCRJLUNBktQyFCRJLUNBktQyFCRJLUNBktQyFCRJrS6/jvPkJNuTfC/JziQfatrPTLItycPN8xl9fTYk2ZXkoSSXdlWbJGmwLmcK+4E3V9XrgJXAZUneAKwHbq+q5cDtzTpJVgBrgAuAy4BPNF/lKUkakc5CoXqealZPbB4FrAY2N+2bgbc3y6uBm6tqf1XtBnYBq7qqT5J0qE6PKSRZkOQeYB+wraruBM6pqr0AzfPZzeaLgcf6uk82bQe/57okO5LsmJqa6rJ8SZp3Og2Fqnq2qlYCS4BVSV47w+YZ9BYD3nNTVU1U1cTChQuPUaWSJBjR2UdV9SPgDnrHCh5Psgiged7XbDYJLO3rtgTYM4r6JEk9XZ59tDDJ6c3yKcBbgAeBrcDaZrO1wC3N8lZgTZKTkpwPLAe2d1WfJOlQJ3T43ouAzc0ZRC8BtlTVrUm+DWxJchXwKHAlQFXtTLIFuB94Bri6qp7tsD5J0kE6C4Wquhe4cED7D4FLpumzEdjYVU2SpJl5RbMkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJahoIkqWUoSJJaQ4VCktd2XYgkafyGnSn89yTbk/zHA9+7fDhJlib50yQPJNmZ5L1N+7VJfpDknuZxeV+fDUl2JXkoyaVH/nEkSUdjqK/jrKqfS7Ic+PfAjiTbgd+vqm0zdHsG+PWqujvJacBdSQ5sf31Vfbh/4yQrgDXABcC5wG1JXu33NEvS6Ax9TKGqHgb+C/B+4J8Bv53kwST/cprt91bV3c3yk8ADwOIZfsRq4Oaq2l9Vu4FdwKph65MkHb1hjyn8dJLr6f1hfzPwL6rqHzbL1w/RfxlwIXBn03RNknuT3JjkjKZtMfBYX7dJBoRIknVJdiTZMTU1NUz5kqQhDTtT+B3gbuB1VXV13wxgD73Zw7SSvBz4MvC+qnoC+CTwKmAlsBf4yIFNB3SvQxqqNlXVRFVNLFy4cMjyJUnDGOqYAnA58HcH9u8neQlwclX9v6q6abpOSU6kFwifraqvAFTV432vfwq4tVmdBJb2dV8C7Bn2g0iSjt6wM4XbgFP61k9t2qaVJMANwANV9dG+9kV9m10B3NcsbwXWJDkpyfnAcmD7kPVJko6BYWcKJ1fVUwdWquqpJKceps/FwLuA7ye5p2n7APCOJCvp7Rp6BHhP8547k2wB7qd35tLVnnkkSaM1bCj8OMlFB44lJHk98HczdaiqbzH4OME3ZuizEdg4ZE2SpGNs2FB4H/DFJAf28S8C/k0nFUmSxmbYi9e+k+SngNfQ+7//B6vq7zutTJI0csPOFAB+BljW9LkwCVX1h51UJUkai6FCIclN9K4tuAc4cPC3AENBkuaQYWcKE8CKqjrkYjJJ0twx7HUK9wE/0WUhkqTxG3amcBZwf3N31P0HGqvqbZ1UJUkai2FD4doui5AkHR+GPSX1z5L8JLC8qm5rrmZe0G1pkqRRG/bW2b8CfAn4vaZpMfC1jmqSJI3JsAear6Z3L6MnoP3CnbO7KkqSNB7DhsL+qnr6wEqSExjwXQeSpNlt2FD4syQfAE5J8vPAF4H/0V1ZkqRxGDYU1gNTwPfp3er6GxzmG9ckSbPPsGcfPQd8qnlIkuaoYe99tJvB35f8ymNekSRpbI7k3kcHnAxcCZw5U4ckS+ndMO8ngOeATVX18SRnAl+gd8fVR4Bfqqq/bfpsAK6id9O9/1RVfzT0J5EkHbVhdx/98KCmjyX5FvBbM3R7Bvj1qro7yWnAXUm2Ab8M3F5V1yVZT+94xfuTrADWABcA5wK3JXn1fP1KzmXrvz7uEiTNQ8PuPrqob/Ul9GYOp83Up6r2Anub5SeTPEDvorfVwBubzTYDdwDvb9pvrqr9wO4ku4BVwLeH/CySpKM07O6jj/QtP0Oz22fYH5JkGXAhcCdwThMYVNXeJAcuglsM/EVft8mmTZI0IsPuPnrTi/0BSV4OfBl4X1U9kWTaTQf96AHvtw5YB3Deeee92LIkSQMMu/vo12Z6vao+Ok2/E+kFwmer6itN8+NJFjWzhEXAvqZ9Elja130JsGfAz9oEbAKYmJjwqmpJOoaGvXhtAvgP9HbnLAZ+FVhB77jCwGML6U0JbgAeOCg0tgJrm+W1wC197WuSnJTkfGA5sH34jyJJOlpH8iU7F1XVkwBJrgW+WFXvnqHPxcC7gO8nuadp+wBwHbAlyVXAo/ROb6WqdibZAtxP77jF1fP1zCNJGpdhQ+E84Om+9afpXWcwrar6FoOPEwBcMk2fjcDGIWuSJB1jw4bCTcD2JF+ld/D3CnoXpkmS5pBhzz7amOSbwD9pmv5dVX23u7IkSeMw7IFmgFOBJ6rq48BkczBYkjSHDPt1nB+kd9XxhqbpROAzXRUlSRqPYWcKVwBvA34MUFV7OMxtLiRJs8+wofB0VRXNFcZJXtZdSZKkcRk2FLYk+T3g9CS/AtyGX7gjSXPOYc8+aq5M/gLwU8ATwGuA36qqbR3XJkkascOGQlVVkq9V1esBg0CS5rBhdx/9RZKf6bQSSdLYDXtF85uAX03yCL0zkEJvEvHTXRUmSRq9GUMhyXlV9SjwCyOqR5I0RoebKXyN3t1R/yrJl6vqX42gJknSmBzumEL/XU5f2WUhkqTxO1wo1DTLkqQ56HC7j16X5Al6M4ZTmmV4/kDzKzqtTpI0UjOGQlUtGFUhkqTxO5JbZx+RJDcm2Zfkvr62a5P8IMk9zePyvtc2JNmV5KEkl3ZVlyRpep2FAvAHwGUD2q+vqpXN4xsASVYAa4ALmj6fSOIsRZJGrLNQqKo/B/5myM1XAzdX1f6q2g3sAlZ1VZskabAuZwrTuSbJvc3upTOatsXAY33bTDZth0iyLsmOJDumpqa6rlWS5pVRh8IngVcBK4G9wEea9gzYduApsFW1qaomqmpi4cKFnRQ5Wyxb//X2IUnHwkhDoaoer6pnq+o5et/HcGAX0SSwtG/TJcCeUdYmSRpxKCRZ1Ld6BXDgzKStwJokJyU5H1gObB9lbZKk4e+SesSSfB54I3BWkkngg8Abk6ykt2voEeA9AFW1M8kW4H7gGeDqqnq2q9okSYN1FgpV9Y4BzTfMsP1GYGNX9UiSDm8cZx9Jko5ThoIkqWUoSJJahoIkqWUoSJJanZ19pG549bKkLjlTkCS1DAVJUstQkCS1DAVJUstQkCS1DAVJUstQkCS1DAVJUstQkCS1vKJ5jui/0vmR6946xkokzWbOFCRJrc5CIcmNSfYlua+v7cwk25I83Dyf0ffahiS7kjyU5NKu6pIkTa/LmcIfAJcd1LYeuL2qlgO3N+skWQGsAS5o+nwiyYIOa5MkDdBZKFTVnwN/c1DzamBzs7wZeHtf+81Vtb+qdgO7gFVd1SZJGmzUxxTOqaq9AM3z2U37YuCxvu0mm7ZDJFmXZEeSHVNTU50WK0nzzfFy9lEGtNWgDatqE7AJYGJiYuA2xyPPDpI0G4x6pvB4kkUAzfO+pn0SWNq33RJgz4hrk6R5b9Qzha3AWuC65vmWvvbPJfkocC6wHNg+4trGzm9VkzRunYVCks8DbwTOSjIJfJBeGGxJchXwKHAlQFXtTLIFuB94Bri6qp7tqjZJ0mCdhUJVvWOaly6ZZvuNwMau6pEkHZ5XNEuSWoaCJKllKEiSWoaCJKllKEiSWoaCJKllKEiSWoaCJKllKEiSWoaCJKllKEiSWoaCJKllKEiSWoaCJKllKEiSWoaCJKk16q/jBCDJI8CTwLPAM1U1keRM4AvAMuAR4Jeq6m/HUZ8kzVfjnCm8qapWVtVEs74euL2qlgO3N+uSpBEay0xhGqvpfaczwGbgDuD94ypmVJat//q4S5Ck1rhmCgX8cZK7kqxr2s6pqr0AzfPZgzomWZdkR5IdU1NTIypXkuaHcc0ULq6qPUnOBrYleXDYjlW1CdgEMDExUV0VKEnz0VhmClW1p3neB3wVWAU8nmQRQPO8bxy1SdJ8NvJQSPKyJKcdWAb+OXAfsBVY22y2Frhl1LVJ0nw3jt1H5wBfTXLg53+uqv5nku8AW5JcBTwKXDmG2iRpXht5KFTV/wZeN6D9h8Alo65HkvQ8r2iWJLUMBUlS63i6eG3O8cI0SbONMwVJUstQkCS13H10jLnLSNJs5kxBktRypjAGziYkHa+cKUiSWoaCJKnl7qMXyV1AkuYiZwqSpJYzhcNwRiBpPjEU5qD+IHvkureOsRJJs42hoBkZMNL8Mq9DYT78wTuWn3G2j9dsr18ahXkdCtOZq8cRZvpc/X8k5+rnl3R4x10oJLkM+DiwAPh0VV03ip/rH0JJOs5CIckC4HeBnwcmge8k2VpV94+3srlvNoaiu4OkY++4CgVgFbCr+R5nktwMrAYMhePMMCEy3R/qUQbQdD/rxQTK0YTQMH2P9P2PVSge7Vj0O9L/5l2M45E6VrWNwij+RyhV1ckbvxhJ/jVwWVW9u1l/F/CPquqavm3WAeua1dcADx3mbc8C/rqDcucax2k4jtPwHKvhjGOcfrKqFg564XibKWRA2wtSq6o2AZuGfsNkR1VNHG1hc53jNBzHaXiO1XCOt3E63m5zMQks7VtfAuwZUy2SNO8cb6HwHWB5kvOTvBRYA2wdc02SNG8cV7uPquqZJNcAf0TvlNQbq2rnUb7t0Lua5jnHaTiO0/Acq+EcV+N0XB1oliSN1/G2+0iSNEaGgiSpNadDIcllSR5KsivJ+nHXM0pJlib50yQPJNmZ5L1N+5lJtiV5uHk+o6/PhmasHkpyaV/765N8v3ntt5MMOnV4VkuyIMl3k9zarDtOAyQ5PcmXkjzY/G79rGP1Qkn+c/Nv7r4kn09y8qwao6qakw96B6r/Engl8FLge8CKcdc1ws+/CLioWT4N+F/ACuC/Aeub9vXAf22WVzRjdBJwfjN2C5rXtgM/S+86km8CvzDuz9fBeP0a8Dng1mbdcRo8TpuBdzfLLwVOd6xeMD6Lgd3AKc36FuCXZ9MYzeWZQnvLjKp6Gjhwy4x5oar2VtXdzfKTwAP0fmFX0/uHTfP89mZ5NXBzVe2vqt3ALmBVkkXAK6rq29X7Tf3Dvj5zQpIlwFuBT/c1O04HSfIK4J8CNwBU1dNV9SMcq4OdAJyS5ATgVHrXWs2aMZrLobAYeKxvfbJpm3eSLAMuBO4EzqmqvdALDuDsZrPpxmtxs3xw+1zyMeA3gOf62hynQ70SmAJ+v9nV9ukkL8OxalXVD4APA48Ce4H/W1V/zCwao7kcCoe9ZcZ8kOTlwJeB91XVEzNtOqCtZmifE5L8IrCvqu4atsuAtjk/To0TgIuAT1bVhcCP6e0Kmc68G6vmWMFqeruCzgVeluSdM3UZ0DbWMZrLoTDvb5mR5ER6gfDZqvpK0/x4MzWled7XtE83XpPN8sHtc8XFwNuSPEJvF+Obk3wGx2mQSWCyqu5s1r9ELyQcq+e9BdhdVVNV9ffAV4B/zCwao7kcCvP6lhnNmQo3AA9U1Uf7XtoKrG2W1wK39LWvSXJSkvOB5cD2Zqr7ZJI3NO/5b/v6zHpVtaGqllTVMnq/I39SVe/EcTpEVf0f4LEkr2maLqF3W3vH6nmPAm9Icmrz2S6hdzxv9ozRuI/Wd/kALqd31s1fAr857npG/Nl/jt50817gnuZxOfAPgNuBh5vnM/v6/GYzVg/Rd6YDMAHc17z2OzRXws+1B/BGnj/7yHEaPEYrgR3N79XXgDMcq0PG6EPAg83nu4nemUWzZoy8zYUkqTWXdx9Jko6QoSBJahkKkqSWoSBJahkKkqSWoSBJahkKkqTW/wfMMzNc8UvEKAAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "training_data_df['len'].plot.hist(bins=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1605.0"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "training_data_df.len.quantile(0.9)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sqlalchemy import create_engine\n",
    "table_name = 'Training_set_new'\n",
    "db_path = 'db/training.sqlite'\n",
    "db_path = 'sqlite:///' + db_path\n",
    "engine = create_engine(db_path, echo=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2020-12-19 16:52:45,029 INFO sqlalchemy.engine.base.Engine SELECT CAST('test plain returns' AS VARCHAR(60)) AS anon_1\n",
      "2020-12-19 16:52:45,030 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,032 INFO sqlalchemy.engine.base.Engine SELECT CAST('test unicode returns' AS VARCHAR(60)) AS anon_1\n",
      "2020-12-19 16:52:45,033 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,035 INFO sqlalchemy.engine.base.Engine PRAGMA main.table_info(\"Training_set_new\")\n",
      "2020-12-19 16:52:45,036 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,037 INFO sqlalchemy.engine.base.Engine PRAGMA temp.table_info(\"Training_set_new\")\n",
      "2020-12-19 16:52:45,038 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,041 INFO sqlalchemy.engine.base.Engine \n",
      "CREATE TABLE \"Training_set_new\" (\n",
      "\t\"index\" BIGINT, \n",
      "\tabstract TEXT, \n",
      "\tclass TEXT, \n",
      "\tlen BIGINT\n",
      ")\n",
      "\n",
      "\n",
      "2020-12-19 16:52:45,042 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,054 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-19 16:52:45,055 INFO sqlalchemy.engine.base.Engine CREATE INDEX \"ix_Training_set_new_index\" ON \"Training_set_new\" (\"index\")\n",
      "2020-12-19 16:52:45,056 INFO sqlalchemy.engine.base.Engine ()\n",
      "2020-12-19 16:52:45,070 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-19 16:52:45,073 INFO sqlalchemy.engine.base.Engine BEGIN (implicit)\n",
      "2020-12-19 16:52:45,085 INFO sqlalchemy.engine.base.Engine INSERT INTO \"Training_set_new\" (\"index\", abstract, class, len) VALUES (?, ?, ?, ?)\n",
      "2020-12-19 16:52:45,086 INFO sqlalchemy.engine.base.Engine ((0, 'ingen hung hung vara en främst dödsorsak i värld och idag leva ungefär miljon människa i värld i hung brist på mat vara en mänsklig katastrof som ha  ... (5832 characters truncated) ... ksteknik kunna tillgång på mat säkerställa ha en påse med äpplen eller någon konservburk med mat i bil för att vara reda att ge till någon behövande ', '2', 6130), (1, 'god hälsa och välbefinnande god hälsa vara en grundläggande förutsättning för människa möjlighet att nå sig full potential och att bidra till samhäll ... (5796 characters truncated) ...  och förorening som ha en negativ påverkan på människa hälsa bidra till att öka kunskap om mental ohälsa som depression drogmissbruk eller alzheimer ', '3', 6094), (2, 'god utbildning för alla utbildning vara en grundläggande mänsklig rättighet trots den beräkna fortfarande miljon människa i värld inte kunna skriva o ... (6301 characters truncated) ...  i många land tvinga ung flicka lämna skola för att gifta sig belysa fråga starta en diskussion om barnäktenskap med et att hitta lösning på problem ', '4', 6599), (3, 'jämställdhet jämställdhet mellan kvinna och man vara en förutsättning för en hållbar och fredlig utveckling jämställdhet handla om en rättvis fördeln ... (4070 characters truncated) ... vinna som dålig lite intelligent och inkompetent jämföra med man bli fard åt en utsätta flicka för att ge hon bra förutsättning att skapa en bra liv ', '5', 4368), (4, 'ren vatten och sanitet för alla vatten vara en grundförutsättning för allt levande på jord och därmed också en förutsättning för människa hälsa och e ... (5578 characters truncated) ... e år passa på att använda dag och uppmärksamhet för att samla in pengar till en organisation som arbeta med att öka tillgång till vatten och sanitet ', '6', 5876), (5, 'hållbar energi för alla tillgång till hållbar tillförlitlig och förnyba energi och rena bränsle vara en förutsättning för att kunna möta flera av en  ... (2980 characters truncated) ... a på idag utmana sedan du själv och du familj med att försöka sänka elräkning genom att slöa lite el håll koll på hur elräkning utveckla bli den bra ', '7', 3278), (6, 'anständig arbetsvillkor och ekonomisk tillväxt idag befinna sig mycket än hälft av värld arbetstagare i osäker anställning ofta med dålig lön och beg ... (6885 characters truncated) ... r genom att ge mikrolån för att stötta de företagsdröm stötta internationell kampanj mot modern slaveri tvångsarbete trafficking och tvångsäktenskap ', '8', 7183), (7, 'hållbar industri innovation och infrastruktur en fungera och stabil infrastruktur vara grund för alla framgångsrik samhälle för att möta framtida utm ... (4378 characters truncated) ...  passa på att öka kunskap om de runt en till en och en halv miljard människa på jord som inte ha tillgång till grundläggande kommunikationsmöjlighet ', '9', 4676)  ... displaying 10 of 1534 total bound parameter sets ...  (1532, '  vara att förstärka srhs internationell konkurrenskraft stärka kvinna inflytande i srh genom utveckling av specialistkompet och att förankra kompete ... (1157 characters truncated) ... esultera dokument komma att kunna använda som mall i framtida kommunikation med fda på så sätt leva kunskap vidare och fortplanta i framtida projekt ', '17', 1455), (1533, '  nordic changemaker map syfta till att göra en hälsoundersökning av social entreprenörskap och social innovation i norden karta dyka in i nätverk tr ... (1155 characters truncated) ...  och anpassa ramverket prototyputveckling slutföra mvp utarbeta initial digital karta och roadmap samt skala karta till en bred nivå över hel norden ', '17', 1453))\n",
      "2020-12-19 16:52:45,121 INFO sqlalchemy.engine.base.Engine COMMIT\n",
      "2020-12-19 16:52:45,156 INFO sqlalchemy.engine.base.Engine SELECT name FROM sqlite_master WHERE type='table' ORDER BY name\n",
      "2020-12-19 16:52:45,157 INFO sqlalchemy.engine.base.Engine ()\n"
     ]
    }
   ],
   "source": [
    "training_data_df.to_sql(table_name, engine, if_exists='fail')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}