Social and Altruist VI agents.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "import glob\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import itertools\n",
    "import seaborn as sns\n",
    "import numpy as np\n",
    "import pprint\n",
    "import flat_table\n",
    "pp = pprint.PrettyPrinter(depth=4)\n",
    "\n",
    "\n",
    "path = './data/road-game-default-rtdb-export_prev_prev.json'\n",
    "\n",
    "branchs = ['all-games','complete-games']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "#load data from the json file\n",
    "with open(path) as train_file:\n",
    "    data = json.load(train_file)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>index</th>\n",
       "      <th>additional_comments</th>\n",
       "      <th>aggressively_value</th>\n",
       "      <th>behavior</th>\n",
       "      <th>birthYear</th>\n",
       "      <th>blueScore</th>\n",
       "      <th>computer_value</th>\n",
       "      <th>drivinglicense</th>\n",
       "      <th>education</th>\n",
       "      <th>gender</th>\n",
       "      <th>generously_value</th>\n",
       "      <th>log</th>\n",
       "      <th>press-the-read-instructions-button</th>\n",
       "      <th>redScore</th>\n",
       "      <th>steps</th>\n",
       "      <th>win</th>\n",
       "      <th>wisely_value</th>\n",
       "      <th>predictable_value</th>\n",
       "      <th>answer-the-quiz</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>-MZiWIwdnrn8TJ034z2w</td>\n",
       "      <td></td>\n",
       "      <td>5.0</td>\n",
       "      <td>carefulBehavior</td>\n",
       "      <td>1961</td>\n",
       "      <td>20.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>valid</td>\n",
       "      <td>BA</td>\n",
       "      <td>male</td>\n",
       "      <td>6.0</td>\n",
       "      <td>[None, {'blue': 'from: a6, action: left', 'red...</td>\n",
       "      <td>True</td>\n",
       "      <td>23.0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>True</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>-MZiWUxZs8BvWglGhc9r</td>\n",
       "      <td></td>\n",
       "      <td>2.0</td>\n",
       "      <td>carefulBehavior</td>\n",
       "      <td>1982</td>\n",
       "      <td>19.0</td>\n",
       "      <td>6.0</td>\n",
       "      <td>valid</td>\n",
       "      <td>BA</td>\n",
       "      <td>female</td>\n",
       "      <td>4.0</td>\n",
       "      <td>[None, {'blue': 'from: a6, action: left', 'red...</td>\n",
       "      <td>True</td>\n",
       "      <td>22.0</td>\n",
       "      <td>8.0</td>\n",
       "      <td>True</td>\n",
       "      <td>4.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>-MZiWYgxyToIiCSDQY8S</td>\n",
       "      <td></td>\n",
       "      <td>5.0</td>\n",
       "      <td>aggressiveBehavior</td>\n",
       "      <td>1953</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>valid</td>\n",
       "      <td>BA</td>\n",
       "      <td>female</td>\n",
       "      <td>2.0</td>\n",
       "      <td>[None, {'blue': 'from: a6, action: left', 'red...</td>\n",
       "      <td>True</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>False</td>\n",
       "      <td>6.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>-MZiWYz_z_BcQlpReXf_</td>\n",
       "      <td></td>\n",
       "      <td>6.0</td>\n",
       "      <td>aggressiveBehavior</td>\n",
       "      <td>1990</td>\n",
       "      <td>25.0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>valid</td>\n",
       "      <td>Master's degree</td>\n",
       "      <td>male</td>\n",
       "      <td>2.0</td>\n",
       "      <td>[None, {'blue': 'from: a6, action: left', 'red...</td>\n",
       "      <td>True</td>\n",
       "      <td>21.0</td>\n",
       "      <td>9.0</td>\n",
       "      <td>True</td>\n",
       "      <td>2.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>-MZiWaNZ6n3K3AZDfr-q</td>\n",
       "      <td></td>\n",
       "      <td>6.0</td>\n",
       "      <td>aggressiveBehavior</td>\n",
       "      <td>1953</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>6.0</td>\n",
       "      <td>valid</td>\n",
       "      <td>BA</td>\n",
       "      <td>female</td>\n",
       "      <td>2.0</td>\n",
       "      <td>[None, {'blue': 'from: a6, action: left', 'red...</td>\n",
       "      <td>True</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>False</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>667</th>\n",
       "      <td>-MbcRp52SnKf2_aDNt2a</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>valueIterationBasedBehavior_v2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>668</th>\n",
       "      <td>-MbcURCQaLlJFHGxAvyW</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>valueIterationBasedBehavior_v2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>669</th>\n",
       "      <td>-MbcbjkKh8M10JRrqfwb</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>valueIterationBasedBehavior_v2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>670</th>\n",
       "      <td>-MbcfQpUktm_lYEmxpz2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>valueIterationBasedBehavior_v2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>671</th>\n",
       "      <td>-Mbcz6inzp9NEdJCbK17</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>valueIterationBasedBehavior_v2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>672 rows × 19 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                    index additional_comments  aggressively_value  \\\n",
       "0    -MZiWIwdnrn8TJ034z2w                                     5.0   \n",
       "1    -MZiWUxZs8BvWglGhc9r                                     2.0   \n",
       "2    -MZiWYgxyToIiCSDQY8S                                     5.0   \n",
       "3    -MZiWYz_z_BcQlpReXf_                                     6.0   \n",
       "4    -MZiWaNZ6n3K3AZDfr-q                                     6.0   \n",
       "..                    ...                 ...                 ...   \n",
       "667  -MbcRp52SnKf2_aDNt2a                 NaN                 NaN   \n",
       "668  -MbcURCQaLlJFHGxAvyW                 NaN                 NaN   \n",
       "669  -MbcbjkKh8M10JRrqfwb                 NaN                 NaN   \n",
       "670  -MbcfQpUktm_lYEmxpz2                 NaN                 NaN   \n",
       "671  -Mbcz6inzp9NEdJCbK17                 NaN                 NaN   \n",
       "\n",
       "                           behavior birthYear  blueScore  computer_value  \\\n",
       "0                   carefulBehavior      1961       20.0             5.0   \n",
       "1                   carefulBehavior      1982       19.0             6.0   \n",
       "2                aggressiveBehavior      1953     -105.0             7.0   \n",
       "3                aggressiveBehavior      1990       25.0             7.0   \n",
       "4                aggressiveBehavior      1953     -105.0             6.0   \n",
       "..                              ...       ...        ...             ...   \n",
       "667  valueIterationBasedBehavior_v2       NaN        NaN             NaN   \n",
       "668  valueIterationBasedBehavior_v2       NaN        NaN             NaN   \n",
       "669  valueIterationBasedBehavior_v2       NaN        NaN             NaN   \n",
       "670  valueIterationBasedBehavior_v2       NaN        NaN             NaN   \n",
       "671  valueIterationBasedBehavior_v2       NaN        NaN             NaN   \n",
       "\n",
       "    drivinglicense        education  gender  generously_value  \\\n",
       "0            valid               BA    male               6.0   \n",
       "1            valid               BA  female               4.0   \n",
       "2            valid               BA  female               2.0   \n",
       "3            valid  Master's degree    male               2.0   \n",
       "4            valid               BA  female               2.0   \n",
       "..             ...              ...     ...               ...   \n",
       "667            NaN              NaN     NaN               NaN   \n",
       "668            NaN              NaN     NaN               NaN   \n",
       "669            NaN              NaN     NaN               NaN   \n",
       "670            NaN              NaN     NaN               NaN   \n",
       "671            NaN              NaN     NaN               NaN   \n",
       "\n",
       "                                                   log  \\\n",
       "0    [None, {'blue': 'from: a6, action: left', 'red...   \n",
       "1    [None, {'blue': 'from: a6, action: left', 'red...   \n",
       "2    [None, {'blue': 'from: a6, action: left', 'red...   \n",
       "3    [None, {'blue': 'from: a6, action: left', 'red...   \n",
       "4    [None, {'blue': 'from: a6, action: left', 'red...   \n",
       "..                                                 ...   \n",
       "667                                                NaN   \n",
       "668                                                NaN   \n",
       "669                                                NaN   \n",
       "670                                                NaN   \n",
       "671                                                NaN   \n",
       "\n",
       "    press-the-read-instructions-button  redScore  steps    win  wisely_value  \\\n",
       "0                                 True      23.0    7.0   True           1.0   \n",
       "1                                 True      22.0    8.0   True           4.0   \n",
       "2                                 True    -105.0    5.0  False           6.0   \n",
       "3                                 True      21.0    9.0   True           2.0   \n",
       "4                                 True    -105.0    5.0  False           1.0   \n",
       "..                                 ...       ...    ...    ...           ...   \n",
       "667                                NaN       NaN    NaN    NaN           NaN   \n",
       "668                                NaN       NaN    NaN    NaN           NaN   \n",
       "669                                NaN       NaN    NaN    NaN           NaN   \n",
       "670                                NaN       NaN    NaN    NaN           NaN   \n",
       "671                                NaN       NaN    NaN    NaN           NaN   \n",
       "\n",
       "     predictable_value answer-the-quiz  \n",
       "0                  NaN             NaN  \n",
       "1                  NaN             NaN  \n",
       "2                  NaN             NaN  \n",
       "3                  NaN             NaN  \n",
       "4                  NaN             NaN  \n",
       "..                 ...             ...  \n",
       "667                NaN             NaN  \n",
       "668                NaN             NaN  \n",
       "669                NaN             NaN  \n",
       "670                NaN             NaN  \n",
       "671                NaN             NaN  \n",
       "\n",
       "[672 rows x 19 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "branch = branchs[0]\n",
    "df = pd.DataFrame.from_dict(data[branch], orient='index')\n",
    "df.reset_index(level=0, inplace=True)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['index', 'additional_comments', 'aggressively_value', 'behavior',\n",
       "       'birthYear', 'blueScore', 'computer_value', 'drivinglicense',\n",
       "       'education', 'gender', 'generously_value', 'log',\n",
       "       'press-the-read-instructions-button', 'redScore', 'steps', 'win',\n",
       "       'wisely_value', 'predictable_value', 'answer-the-quiz'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df = df[df['answer-the-quiz'].notnull()]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Survay results:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "upload Id workers and search for duplicate workers"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "path = './data/workers' # use your path\n",
    "all_files = glob.glob(path + \"/*.csv\")\n",
    "\n",
    "li = []\n",
    "\n",
    "for filename in all_files:\n",
    "    fromOne = pd.read_csv(filename, index_col=None, header=0)\n",
    "    fromOne['filename'] = filename\n",
    "    li.append(fromOne)\n",
    "\n",
    "workers = pd.concat(li, axis=0, ignore_index=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "df['WorkerId'] = workers['WorkerId']\n",
    "df['filename'] = workers['filename'].apply(lambda x: x.split('./data/workers/Batch_')[1].split('_batch_results.csv')[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "WorkerId\n",
       "A17AF42SNQNH9C    8\n",
       "A1AZLJ3R5FQ9B7    2\n",
       "A1BQI9JKLVCIL0    2\n",
       "A1GC6CN3F0IHWN    2\n",
       "A1IL81UMEC9OJI    2\n",
       "                 ..\n",
       "APB33P7IQEEWK     2\n",
       "AREQ43Q0T8ENT     2\n",
       "ASNMT3I94HZ44     2\n",
       "AT6ICEVY8RM8D     4\n",
       "ATJ92FYQX176Z     7\n",
       "Name: index, Length: 65, dtype: int64"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.concat(g for _, g in df.groupby('WorkerId') if len(g) > 1).groupby('WorkerId')['index'].count()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "how many to drop?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "98"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sum(pd.concat(g for _, g in df.groupby('WorkerId') if len(g) > 1).groupby('WorkerId')['index'].count()) - len(pd.concat(g for _, g in df.groupby('WorkerId') if len(g) > 1).groupby('WorkerId')['index'].count())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "We will keep the first one of any 'WorkerId' instance to keep samples unique"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# df = df[(~df.duplicated('WorkerId')) | (df['WorkerId'].isnull())]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>aggressively_value</th>\n",
       "      <th>blueScore</th>\n",
       "      <th>computer_value</th>\n",
       "      <th>generously_value</th>\n",
       "      <th>redScore</th>\n",
       "      <th>steps</th>\n",
       "      <th>wisely_value</th>\n",
       "      <th>predictable_value</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>behavior</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>aggressiveBehavior</th>\n",
       "      <td>5.045455</td>\n",
       "      <td>-16.277778</td>\n",
       "      <td>5.833333</td>\n",
       "      <td>3.287879</td>\n",
       "      <td>-18.402778</td>\n",
       "      <td>6.873239</td>\n",
       "      <td>4.590909</td>\n",
       "      <td>4.971429</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>carefulBehavior</th>\n",
       "      <td>2.964286</td>\n",
       "      <td>11.787879</td>\n",
       "      <td>5.214286</td>\n",
       "      <td>5.071429</td>\n",
       "      <td>14.333333</td>\n",
       "      <td>7.468750</td>\n",
       "      <td>4.035714</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>randomBehavior</th>\n",
       "      <td>3.519481</td>\n",
       "      <td>-72.285714</td>\n",
       "      <td>5.649351</td>\n",
       "      <td>4.012987</td>\n",
       "      <td>-71.511905</td>\n",
       "      <td>11.524390</td>\n",
       "      <td>3.727273</td>\n",
       "      <td>3.571429</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiAggressiveBehavior</th>\n",
       "      <td>4.578313</td>\n",
       "      <td>-61.911111</td>\n",
       "      <td>5.734940</td>\n",
       "      <td>3.216867</td>\n",
       "      <td>-63.033333</td>\n",
       "      <td>6.431818</td>\n",
       "      <td>4.337349</td>\n",
       "      <td>4.523810</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiCarefulBehavior</th>\n",
       "      <td>3.940476</td>\n",
       "      <td>-4.863636</td>\n",
       "      <td>5.702381</td>\n",
       "      <td>4.238095</td>\n",
       "      <td>-3.250000</td>\n",
       "      <td>12.720930</td>\n",
       "      <td>4.920000</td>\n",
       "      <td>4.285714</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>valueIterationBasedBehavior_v2</th>\n",
       "      <td>4.824074</td>\n",
       "      <td>-6.000000</td>\n",
       "      <td>6.074074</td>\n",
       "      <td>3.574074</td>\n",
       "      <td>-8.017241</td>\n",
       "      <td>9.000000</td>\n",
       "      <td>4.703704</td>\n",
       "      <td>4.767123</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                aggressively_value  blueScore  computer_value  \\\n",
       "behavior                                                                        \n",
       "aggressiveBehavior                        5.045455 -16.277778        5.833333   \n",
       "carefulBehavior                           2.964286  11.787879        5.214286   \n",
       "randomBehavior                            3.519481 -72.285714        5.649351   \n",
       "semiAggressiveBehavior                    4.578313 -61.911111        5.734940   \n",
       "semiCarefulBehavior                       3.940476  -4.863636        5.702381   \n",
       "valueIterationBasedBehavior_v2            4.824074  -6.000000        6.074074   \n",
       "\n",
       "                                generously_value   redScore      steps  \\\n",
       "behavior                                                                 \n",
       "aggressiveBehavior                      3.287879 -18.402778   6.873239   \n",
       "carefulBehavior                         5.071429  14.333333   7.468750   \n",
       "randomBehavior                          4.012987 -71.511905  11.524390   \n",
       "semiAggressiveBehavior                  3.216867 -63.033333   6.431818   \n",
       "semiCarefulBehavior                     4.238095  -3.250000  12.720930   \n",
       "valueIterationBasedBehavior_v2          3.574074  -8.017241   9.000000   \n",
       "\n",
       "                                wisely_value  predictable_value  \n",
       "behavior                                                         \n",
       "aggressiveBehavior                  4.590909           4.971429  \n",
       "carefulBehavior                     4.035714                NaN  \n",
       "randomBehavior                      3.727273           3.571429  \n",
       "semiAggressiveBehavior              4.337349           4.523810  \n",
       "semiCarefulBehavior                 4.920000           4.285714  \n",
       "valueIterationBasedBehavior_v2      4.703704           4.767123  "
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.groupby('behavior').mean()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## blueScore and redScore for each behavior to exel file to do t-test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "ch_index = list(df.loc[df['answer-the-quiz'].notnull()].loc[df['behavior'] == 'valueIterationBasedBehavior_v2', ['behavior']].index)\n",
    "df.loc[ch_index, ['behavior']] = 'valueIterationBasedBehavior_v2.1'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "to_exel = df[['blueScore', 'redScore', 'behavior']]\n",
    "\n",
    "table_blueScore = pd.DataFrame(index=to_exel.index, columns=to_exel.groupby('behavior').count().index)\n",
    "for agent in table_blueScore.columns:\n",
    "    table_blueScore[agent] = to_exel[to_exel['behavior'] == agent]['blueScore']\n",
    "\n",
    "blueScore_result = pd.concat([table_blueScore[agent].dropna().reset_index().drop('index', axis=1) for agent in table_blueScore.columns], axis=1)\n",
    "\n",
    "table_blueRedScore = pd.DataFrame(index=to_exel.index, columns=to_exel.groupby('behavior').count().index)\n",
    "for agent in table_blueRedScore.columns:\n",
    "    table_blueRedScore[agent] = to_exel[to_exel['behavior'] == agent]['blueScore'] + to_exel[to_exel['behavior'] == agent]['redScore']\n",
    "\n",
    "bluePlusRedScore_result = pd.concat([table_blueRedScore[agent].dropna().reset_index().drop('index', axis=1) for agent in table_blueRedScore.columns], axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "with pd.ExcelWriter('./data/agent_scores.xlsx') as writer:\n",
    "    blueScore_result.to_excel(writer, sheet_name='blueScore')\n",
    "    bluePlusRedScore_result.to_excel(writer, sheet_name='blueScore+redScore')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>aggressiveBehavior</th>\n",
       "      <th>carefulBehavior</th>\n",
       "      <th>randomBehavior</th>\n",
       "      <th>semiAggressiveBehavior</th>\n",
       "      <th>semiCarefulBehavior</th>\n",
       "      <th>valueIterationBasedBehavior_v2</th>\n",
       "      <th>valueIterationBasedBehavior_v2.1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>-105.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>-103.0</td>\n",
       "      <td>11.0</td>\n",
       "      <td>-103.0</td>\n",
       "      <td>25.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>25.0</td>\n",
       "      <td>19.0</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>-104.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>25.0</td>\n",
       "      <td>25.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>-105.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>-135.0</td>\n",
       "      <td>-103.0</td>\n",
       "      <td>18.0</td>\n",
       "      <td>25.0</td>\n",
       "      <td>24.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>25.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>-110.0</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>10.0</td>\n",
       "      <td>25.0</td>\n",
       "      <td>25.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>-105.0</td>\n",
       "      <td>20.0</td>\n",
       "      <td>-104.0</td>\n",
       "      <td>24.0</td>\n",
       "      <td>19.0</td>\n",
       "      <td>25.0</td>\n",
       "      <td>-103.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>85</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-102.0</td>\n",
       "      <td>-110.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>86</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-104.0</td>\n",
       "      <td>13.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>87</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-107.0</td>\n",
       "      <td>-102.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>88</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-105.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>89</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-104.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>90 rows × 7 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    aggressiveBehavior  carefulBehavior  randomBehavior  \\\n",
       "0               -105.0             20.0            20.0   \n",
       "1                 25.0             19.0          -105.0   \n",
       "2               -105.0             20.0          -135.0   \n",
       "3                 25.0             20.0          -110.0   \n",
       "4               -105.0             20.0          -104.0   \n",
       "..                 ...              ...             ...   \n",
       "85                 NaN              NaN             NaN   \n",
       "86                 NaN              NaN             NaN   \n",
       "87                 NaN              NaN             NaN   \n",
       "88                 NaN              NaN             NaN   \n",
       "89                 NaN              NaN             NaN   \n",
       "\n",
       "    semiAggressiveBehavior  semiCarefulBehavior  \\\n",
       "0                   -103.0                 11.0   \n",
       "1                   -104.0                 20.0   \n",
       "2                   -103.0                 18.0   \n",
       "3                   -105.0                 10.0   \n",
       "4                     24.0                 19.0   \n",
       "..                     ...                  ...   \n",
       "85                  -102.0               -110.0   \n",
       "86                  -104.0                 13.0   \n",
       "87                  -107.0               -102.0   \n",
       "88                  -105.0                  NaN   \n",
       "89                  -104.0                  NaN   \n",
       "\n",
       "    valueIterationBasedBehavior_v2  valueIterationBasedBehavior_v2.1  \n",
       "0                           -103.0                              25.0  \n",
       "1                             25.0                              25.0  \n",
       "2                             25.0                              24.0  \n",
       "3                             25.0                              25.0  \n",
       "4                             25.0                            -103.0  \n",
       "..                             ...                               ...  \n",
       "85                             NaN                               NaN  \n",
       "86                             NaN                               NaN  \n",
       "87                             NaN                               NaN  \n",
       "88                             NaN                               NaN  \n",
       "89                             NaN                               NaN  \n",
       "\n",
       "[90 rows x 7 columns]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "blueScore_result"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Other behaviors:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "#To calculate the score:\n",
    "crushing = -100\n",
    "richToDestination = 30\n",
    "step = -1\n",
    "\n",
    "#Hyperparameters\n",
    "SMALL_ENOUGH = 0.0001\n",
    "GAMMA = 0.995"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "all_states=[]\n",
    "for i in range(12):\n",
    "    for j in range(12):\n",
    "            all_states.append((i,j))\n",
    "\n",
    "#Dictionnary of possible actions. We have two \"end\" states (1,2 and 2,2)\n",
    "actions = {}\n",
    "for (i,j) in all_states:\n",
    "    if i != 0 and i != j: #if s=(i, j) is not an \"end\" state\n",
    "        actions[(i,j)] = (\"stay\", \"left\", \"down\") if (i < 6) else (\"up\", \"stay\")\n",
    "\n",
    "#Define rewards for all states\n",
    "rewards = {}\n",
    "for (i,j) in all_states:\n",
    "    if(i == j): # crushed\n",
    "        rewards[(i,j)] = crushing\n",
    "    elif(i == 0 and j != 0): # blue agent in a1\n",
    "        rewards[(i,j)] = richToDestination\n",
    "    else:\n",
    "        rewards[(i,j)] = step"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "def randomBehavior():\n",
    "    Policy={}\n",
    "    for s in actions.keys():\n",
    "        Policy[s] = np.random.choice(actions[s])\n",
    "    return Policy\n",
    "\n",
    "random_policy = randomBehavior()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "def carefulBehavior():\n",
    "    Policy={}\n",
    "    for s in actions.keys():\n",
    "        blueState = s[0]\n",
    "        redState = s[1]\n",
    "        if redState + 1 == blueState or redState == blueState + 5 or redState + 6 == blueState or redState + 7 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"down\"\n",
    "            else:\n",
    "                Policy[s] = \"stay\"\n",
    "        elif redState + 2 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"down\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "        else:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"left\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "    return Policy\n",
    "\n",
    "careful_policy = carefulBehavior()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "def semiCarefulBehavior():\n",
    "    Policy={}\n",
    "    for s in actions.keys():\n",
    "        blueState = s[0]\n",
    "        redState = s[1]\n",
    "        if redState + 1 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"down\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "        elif redState + 2 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"stay\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "        elif redState == blueState + 5 or redState + 6 == blueState or redState + 7 == blueState:\n",
    "            if redState == 11 and blueState == 6:\n",
    "                Policy[s] = \"up\"\n",
    "            else:\n",
    "                Policy[s] = \"stay\"\n",
    "        else:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"left\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "    return Policy\n",
    "\n",
    "semiCareful_policy = semiCarefulBehavior()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "def semiAggressiveBehavior():\n",
    "    Policy={}\n",
    "    for s in actions.keys():\n",
    "        blueState = s[0]\n",
    "        redState = s[1]\n",
    "        if redState + 1 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"stay\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "        elif redState == blueState + 5 or redState + 6 == blueState or redState + 7 == blueState:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"left\"\n",
    "            else:\n",
    "                Policy[s] = \"stay\"\n",
    "        else:\n",
    "            if blueState < 6:\n",
    "                Policy[s] = \"left\"\n",
    "            else:\n",
    "                Policy[s] = \"up\"\n",
    "    return Policy\n",
    "\n",
    "semiAggressive_policy = semiAggressiveBehavior()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "def aggressiveBehavior():\n",
    "    Policy={}\n",
    "    for s in actions.keys():\n",
    "        blueState = s[0]\n",
    "        redState = s[1]\n",
    "        if blueState > 5: #blue is in bX\n",
    "            Policy[s] = \"up\"\n",
    "        else:\n",
    "            Policy[s] = \"left\"\n",
    "    return Policy\n",
    "\n",
    "aggressive_policy = aggressiveBehavior()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Policy evaluation:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "def adapt_state(s):\n",
    "    # takes (i,j) format state and convert it to \"a|b[1-6] a|b[1-6]\" format\n",
    "    i = s[0]\n",
    "    j = s[1]\n",
    "    if i < 6:\n",
    "        blueState = 'a' + str(i+1)\n",
    "    else:\n",
    "        blueState = 'b' + str(i-5)\n",
    "    if j < 6:\n",
    "        redState = 'a' + str(j+1)\n",
    "    else:\n",
    "        redState = 'b' + str(j-5)\n",
    "    return blueState + ' ' + redState\n",
    "\n",
    "def newPosGivenAction(s, a, agent_i):\n",
    "    if s[agent_i] == 5 and agent_i == 1:\n",
    "        actions=[\"stay\"]\n",
    "    elif s[agent_i] == 0 and agent_i == 0:\n",
    "        actions=[\"stay\"]\n",
    "    elif s[agent_i] < 6 and agent_i == 1:\n",
    "        actions=[\"right\",\"stay\", \"down\"]\n",
    "    elif s[agent_i] < 6 and agent_i == 0:\n",
    "        actions=[\"left\",\"stay\", \"down\"]\n",
    "    else:\n",
    "        actions=[\"stay\", \"up\"]\n",
    "    assert a in actions , \"action: \" + str(a) + \" is not vallid at state: \" + str(s) + \" for agent: \" + str(agent_i)\n",
    "    # agent_i = 0 for blue and 1 for red\n",
    "    newPos = -1\n",
    "    if a == \"up\":\n",
    "        newPos = s[agent_i]-6\n",
    "    if a == \"down\":\n",
    "        newPos = s[agent_i]+6\n",
    "    if a == \"left\":\n",
    "        newPos = s[agent_i]-1\n",
    "    if a == \"right\":\n",
    "        newPos = s[agent_i]+1\n",
    "    if a == \"stay\":\n",
    "        newPos = s[agent_i]\n",
    "    assert newPos > -1 and newPos < 12 , \"Got out from board!\\naction: \" + str(a) + \" ,state: \" + str(s) + \" for agent: \" + str(agent_i)\n",
    "    return newPos\n",
    "\n",
    "def randomProbForAction(s):\n",
    "    # if aX return 1/3 else (it is bX) return 1/2\n",
    "    if s[1] == 5: # a6\n",
    "        return 1\n",
    "    if s[1] < 6:\n",
    "        return 1.0/3\n",
    "    else:\n",
    "        return 1.0/2\n",
    "\n",
    "probs = json.load(open('data/probs1.json',))\n",
    "\n",
    "def nextStateDistibution_prev(s, a):\n",
    "    # given state s and action a, return distibution of possibles new states by probs\n",
    "    nxt = {}\n",
    "    bluePossition = newPosGivenAction(s, a, 0)    \n",
    "    # red possible action given state\n",
    "    if s[1] == 5:\n",
    "        actions=[\"stay\"]\n",
    "    elif s[1] < 6:\n",
    "        actions=[\"right\",\"stay\", \"down\"]\n",
    "    else:\n",
    "        actions=[\"stay\", \"up\"]\n",
    "    for r_a in actions:\n",
    "        redPossition = newPosGivenAction(s, r_a, 1)\n",
    "        newState = (bluePossition, redPossition)\n",
    "        try:\n",
    "            nxt[newState] = probs[adapt_state(s)][r_a]\n",
    "        except KeyError:\n",
    "            nxt[newState] = randomProbForAction(s)\n",
    "    assert abs(sum(nxt.values()) - 1.0) < 0.0001, \"probs not sum to 1.0. \\nstate: \" + str(s) + \" action: \" + str(a) + \" nxt: \" + str(nxt) + \"\\nsum of probs: \" + str(sum(nxt.values()))\n",
    "    return nxt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "def policy_eval_prev(policy):\n",
    "    V={}\n",
    "    for (i,j) in all_states:\n",
    "        V[(i,j)] = rewards[(i,j)]\n",
    "    while True:\n",
    "        biggest_change = 0\n",
    "        for s in all_states:\n",
    "            if s in policy:  \n",
    "                old_v = V[s]\n",
    "                nxt = nextStateDistibution_prev(s, policy[s])\n",
    "                v=0\n",
    "                #Calculate the value\n",
    "                for next_state, prob in nxt.items():\n",
    "                    v += prob * (rewards[s] + GAMMA * V[next_state])\n",
    "        \n",
    "                #Save the best of all actions for the state                                \n",
    "                V[s] = v\n",
    "                biggest_change = max(biggest_change, np.abs(old_v - V[s]))\n",
    "        #See if the loop should stop now         \n",
    "        if biggest_change < SMALL_ENOUGH:\n",
    "            return V"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "semiCareful_intensity = np.array(list(policy_eval_prev(semiCareful_policy).values())).reshape(12,12)\n",
    "randomBehavior_intensity = np.array(list(policy_eval_prev(random_policy).values())).reshape(12,12)\n",
    "careful_intensity = np.array(list(policy_eval_prev(careful_policy).values())).reshape(12,12)\n",
    "semiAggressive_intensity = np.array(list(policy_eval_prev(semiAggressive_policy).values())).reshape(12,12)\n",
    "aggressive_intensity = np.array(list(policy_eval_prev(aggressive_policy).values())).reshape(12,12)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Statistics of the red agent movements:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Create the statistics table from the log column: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "class OutOfBoard(Exception):\n",
    "    pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_pos_after_action(s, a):\n",
    "    if a == 'U' or a == \"up\":\n",
    "        if(s[0] == 'a'):\n",
    "            raise OutOfBoard(\"An error occurred, state: \"+ s + \" action: \" + a)\n",
    "        return \"a\" + s[1]\n",
    "    if a == 'D' or a == \"down\":\n",
    "        if(s[0] == 'b'):\n",
    "            raise OutOfBoard(\"An error occurred, state: \"+ s + \" action: \" + a)\n",
    "        return \"b\" + s[1]\n",
    "    if a == 'L' or a == \"left\":\n",
    "        if(s[0] == 'b' or s[1] == '1'):\n",
    "            raise OutOfBoard(\"An error occurred, state: \"+ s + \" action: \" + a)\n",
    "        return \"a\" + str(int(s[1])-1)\n",
    "    if a == 'R' or a == \"right\":\n",
    "        if(s[0] == 'b' or s[1] == '6'):\n",
    "            raise OutOfBoard(\"An error occurred, state: \"+ s + \" action: \" + a)\n",
    "        return \"a\" + str(int(s[1])+1)\n",
    "    if a == 'S' or a == \"stay\":\n",
    "        return s"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_next_state(c_s):\n",
    "    n_s = c_s.split()\n",
    "    blueAction = n_s[3]\n",
    "    blueState = n_s[2]\n",
    "    redAction = n_s[1]\n",
    "    redState = n_s[0]\n",
    "    \n",
    "    newPosBlue = get_pos_after_action(blueState, blueAction)\n",
    "    newPosRed = get_pos_after_action(redState, redAction)\n",
    "    \n",
    "    return newPosBlue + ' ' + newPosRed"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>action</th>\n",
       "      <th>value</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>state</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a2</th>\n",
       "      <td>right</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a3</th>\n",
       "      <td>down</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a3</th>\n",
       "      <td>right</td>\n",
       "      <td>30</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a3</th>\n",
       "      <td>stay</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 b2</th>\n",
       "      <td>stay</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 a5</th>\n",
       "      <td>down</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 a5</th>\n",
       "      <td>right</td>\n",
       "      <td>27</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 a5</th>\n",
       "      <td>stay</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 b5</th>\n",
       "      <td>stay</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 b5</th>\n",
       "      <td>up</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>487 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                 action  value\n",
       "state                         \n",
       "a1 a2 nxt: a1 a2  right      1\n",
       "a1 a2 nxt: a1 a3   down      1\n",
       "a1 a2 nxt: a1 a3  right     30\n",
       "a1 a2 nxt: a1 a3   stay      1\n",
       "a1 a2 nxt: a1 b2   stay      1\n",
       "...                 ...    ...\n",
       "b6 b5 nxt: b6 a5   down      4\n",
       "b6 b5 nxt: b6 a5  right     27\n",
       "b6 b5 nxt: b6 a5   stay      3\n",
       "b6 b5 nxt: b6 b5   stay      2\n",
       "b6 b5 nxt: b6 b5     up      4\n",
       "\n",
       "[487 rows x 2 columns]"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s_r = df['log'].apply(pd.Series).iloc[:,1:]\n",
    "s_r.columns = s_r.columns.astype(str)\n",
    "s_r.set_index( df['index'], inplace=True)\n",
    "log_red = flat_table.normalize(s_r)\n",
    "log_red = log_red.dropna(how='all')\n",
    "log_red.set_index(log_red['index'], inplace=True)\n",
    "log_red = log_red.drop('index', axis=1)\n",
    "\n",
    "log_len = int(len(log_red.columns)/2)+1\n",
    "for i in range(1,log_len):\n",
    "    log_red[str(i)] = log_red[str(i)+'.red'] + ' ' + log_red[str(i)+'.blue']\n",
    "    log_red = log_red.drop([str(i)+'.red', str(i)+'.blue'],axis=1)\n",
    "    for substr in ['from: ', ', action:']:\n",
    "        log_red[str(i)] = log_red[str(i)].apply(lambda x: x.replace(substr, '', 2) if type(x) != float else x)\n",
    "    \n",
    "log_len = len(log_red.columns)\n",
    "for i in range(1,log_len):\n",
    "    log_red[str(i) + '&' + str(i+1)] = log_red[str(i)] + '&' + log_red[str(i+1)]\n",
    "    log_red[str(i) + '&' + str(i+1)] = log_red[str(i) + '&' + str(i+1)].apply(lambda x: x.rsplit(' ', 2)[0] if type(x) != float else x)\n",
    "log_red = log_red.drop([str(i) for i in range(1,log_len+1)],axis=1)\n",
    "\n",
    "log_red_copy = log_red.copy(deep=True)\n",
    "\n",
    "log_red = pd.DataFrame(log_red.to_numpy().flatten(), columns=['state'])\n",
    "log_red = log_red.dropna()\n",
    "\n",
    "log_red['action'] = log_red['state'].apply(lambda x: x.rsplit('&', 1)[1].rsplit(' ', 1)[1])\n",
    "log_red['state'] = log_red['state'].apply(lambda x: x.rsplit('&', 1)[0])\n",
    "\n",
    "log_red['nxt'] = log_red['state'].apply(get_next_state)\n",
    "log_red['state'] = log_red['state'].str.split().apply(reversed).apply(' '.join)\n",
    "\n",
    "log_red['value']=1\n",
    "\n",
    "for a in ['right', 'stay', 'up', 'down', 'left']:\n",
    "    log_red['state'] = log_red['state'].apply(lambda x: x.replace(a+' ', '', 2))\n",
    "\n",
    "log_red['state'] = log_red['state'] + ' nxt: ' + log_red['nxt']\n",
    "log_red = log_red.drop('nxt',axis=1)\n",
    "\n",
    "log_red = log_red.groupby(['state', 'action']).count()\n",
    "log_red.reset_index(inplace=True)\n",
    "log_red = log_red.set_index('state')\n",
    "\n",
    "log_red"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>state</th>\n",
       "      <th>right</th>\n",
       "      <th>stay</th>\n",
       "      <th>up</th>\n",
       "      <th>down</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>a1 a2 nxt: a1 a2</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>a1 a2 nxt: a1 a3</td>\n",
       "      <td>30.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>a1 a2 nxt: a1 b2</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>a1 a3 nxt: a1 a3</td>\n",
       "      <td>1.0</td>\n",
       "      <td>6.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>3.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>a1 a3 nxt: a1 a4</td>\n",
       "      <td>106.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>283</th>\n",
       "      <td>b6 b1 nxt: b6 a1</td>\n",
       "      <td>2.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>284</th>\n",
       "      <td>b6 b1 nxt: b6 b1</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>285</th>\n",
       "      <td>b6 b4 nxt: a6 a4</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>286</th>\n",
       "      <td>b6 b5 nxt: b6 a5</td>\n",
       "      <td>27.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>4.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>287</th>\n",
       "      <td>b6 b5 nxt: b6 b5</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>288 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                state  right  stay   up  down\n",
       "0    a1 a2 nxt: a1 a2    1.0   0.0  0.0   0.0\n",
       "1    a1 a2 nxt: a1 a3   30.0   1.0  0.0   1.0\n",
       "2    a1 a2 nxt: a1 b2    0.0   1.0  1.0   0.0\n",
       "3    a1 a3 nxt: a1 a3    1.0   6.0  0.0   3.0\n",
       "4    a1 a3 nxt: a1 a4  106.0   0.0  0.0   0.0\n",
       "..                ...    ...   ...  ...   ...\n",
       "283  b6 b1 nxt: b6 a1    2.0   0.0  0.0   0.0\n",
       "284  b6 b1 nxt: b6 b1    0.0   2.0  0.0   0.0\n",
       "285  b6 b4 nxt: a6 a4    1.0   0.0  0.0   0.0\n",
       "286  b6 b5 nxt: b6 a5   27.0   3.0  0.0   4.0\n",
       "287  b6 b5 nxt: b6 b5    0.0   2.0  4.0   0.0\n",
       "\n",
       "[288 rows x 5 columns]"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result = pd.DataFrame(index=log_red.index.drop_duplicates(), columns=['right', 'stay', 'up', 'down'])\n",
    "# result.reset_index(level=0, inplace=True)\n",
    "for action in ['right', 'stay', 'up', 'down']:\n",
    "    result[action] = log_red[log_red['action'] == action]['value']\n",
    "result = result.fillna(0)\n",
    "result.reset_index(inplace=True)\n",
    "result.sort_index()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>right</th>\n",
       "      <th>stay</th>\n",
       "      <th>up</th>\n",
       "      <th>down</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>state</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a2</th>\n",
       "      <td>2.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 a3</th>\n",
       "      <td>31.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a2 nxt: a1 b2</th>\n",
       "      <td>0.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>2.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a3 nxt: a1 a3</th>\n",
       "      <td>2.0</td>\n",
       "      <td>7.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>4.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>a1 a3 nxt: a1 a4</th>\n",
       "      <td>107.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b1 nxt: b6 a1</th>\n",
       "      <td>3.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b1 nxt: b6 b1</th>\n",
       "      <td>0.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b4 nxt: a6 a4</th>\n",
       "      <td>2.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 a5</th>\n",
       "      <td>28.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>5.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>b6 b5 nxt: b6 b5</th>\n",
       "      <td>0.0</td>\n",
       "      <td>3.0</td>\n",
       "      <td>5.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>288 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                  right  stay   up  down\n",
       "state                                   \n",
       "a1 a2 nxt: a1 a2    2.0   1.0  0.0   1.0\n",
       "a1 a2 nxt: a1 a3   31.0   2.0  0.0   2.0\n",
       "a1 a2 nxt: a1 b2    0.0   2.0  2.0   0.0\n",
       "a1 a3 nxt: a1 a3    2.0   7.0  0.0   4.0\n",
       "a1 a3 nxt: a1 a4  107.0   1.0  0.0   1.0\n",
       "...                 ...   ...  ...   ...\n",
       "b6 b1 nxt: b6 a1    3.0   1.0  0.0   1.0\n",
       "b6 b1 nxt: b6 b1    0.0   3.0  1.0   0.0\n",
       "b6 b4 nxt: a6 a4    2.0   1.0  0.0   1.0\n",
       "b6 b5 nxt: b6 a5   28.0   4.0  0.0   5.0\n",
       "b6 b5 nxt: b6 b5    0.0   3.0  5.0   0.0\n",
       "\n",
       "[288 rows x 4 columns]"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# laplace smoving:\n",
    "for i in range(1,7):\n",
    "    result.loc[result['state'].str.endswith('a'+str(i)), ['stay', 'right', 'down']] += 1\n",
    "    \n",
    "for i in range(1,7):\n",
    "    result.loc[result['state'].str.endswith('b'+str(i)), ['stay', 'up']] += 1\n",
    "\n",
    "result = result.set_index('state')\n",
    "result"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Convert it to Probability table:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "pd.options.display.float_format = \"{:,.2f}\".format\n",
    "result_probs = result.div(result.sum(axis=1), axis=0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Save data on computer for the policy iteration:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "result_probs.to_json('data/probs2.json' , orient='index', indent=4)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Value iteration with taking into account the previous state:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## General setting for Value Iteration"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "def possibleFutureStates(s):\n",
    "    n_l = []\n",
    "    for a in actions[s]:\n",
    "#         print('s: ', adapt_state((3,2)))\n",
    "#         print(a)\n",
    "        n = nextStateDistibution_prev(s, a)\n",
    "        n_l.extend([elm for elm in n])\n",
    "#         print('n: ', n)\n",
    "#         print('n_l: ', n_l)\n",
    "    return n_l\n",
    "\n",
    "possibleStatesForState = {}\n",
    "for s in all_states:\n",
    "    if s in actions.keys():\n",
    "        poss_states = possibleFutureStates(s)\n",
    "        possibleStatesForState[s] = [s for s in poss_states]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''==================================================\n",
    "Initial set up                   \n",
    "=================================================='''\n",
    "#Define all states\n",
    "all_states=[]\n",
    "for prev_state in possibleStatesForState:\n",
    "    poss_states = possibleStatesForState[prev_state]\n",
    "    for curr_state in poss_states:\n",
    "        # current state: (i,j), previous state: (l,k)\n",
    "        all_states.append((curr_state,prev_state))\n",
    "all_states.append(((5,0),(-10, -10)))\n",
    "\n",
    "#Dictionnary of possible actions. We have two \"end\" states (1,2 and 2,2)\n",
    "actions = {}\n",
    "for ((i,j),(l,k)) in all_states:\n",
    "    if i != 0 and i != j: #if s=((i, j),(l, k)) is not an \"end\" state\n",
    "        actions[((i,j),(l,k))] = (\"stay\", \"left\", \"down\") if (i < 6) else (\"up\", \"stay\")\n",
    "\n",
    "probs = json.load(open('data/probs2.json',))\n",
    "\n",
    "#Define an initial policy\n",
    "policy={}\n",
    "for s in actions.keys():\n",
    "    policy[s] = np.random.choice(actions[s])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "def numberOfStepsRemaining(state, agent):\n",
    "    ((i,j),(l,k)) = state\n",
    "    if agent == 0: #blue\n",
    "        index = i\n",
    "        destenation = 0\n",
    "    else: #red\n",
    "        index = j\n",
    "        destenation = 5\n",
    "    if index < 6: #a\n",
    "        return abs(destenation - index)\n",
    "    else: #b\n",
    "        return abs(destenation - (index - 6)) + 1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# General reward for agents:\n",
    "    - altruist => beta = 0\n",
    "    - social => beta = 0.5\n",
    "    - base VI => beta = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "def social_beta_reward(s, beta):\n",
    "    assert beta >= 0 and beta <=1\n",
    "    # how much we consider our reward and how much we consider the other side.\n",
    "    ((i,j),(l,k)) = s\n",
    "    if(i == j or (j == i+1 and k+1 == l)): # crushed\n",
    "        return beta * crushing + (1-beta) * crushing\n",
    "    elif(j == 5 and i != 0): # blue agent not in a1 and red agent in a6\n",
    "        if(k == 5): # not red agent first time\n",
    "            return beta * step\n",
    "        else:\n",
    "            return (1-beta) * richToDestination + beta * step\n",
    "    elif(j != 5 and i == 0): # blue agent in a1 and red agent not in a6\n",
    "        return beta * richToDestination + (1-beta) * (richToDestination - numberOfStepsRemaining(s, 1))\n",
    "    else:\n",
    "        return beta * step + (1-beta) * step\n",
    "    #else:\n",
    "    #    raise ValueError(\"flag: \" + flag + \", need to be 'r' or 'v'\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [],
   "source": [
    "def nextStateDistibution(s, a):\n",
    "    # given state s and action a, return distibution of possibles new states by probs\n",
    "    nxt = {}\n",
    "#     print('s: ', s)\n",
    "#     print('a: ', a)\n",
    "    bluePossition = newPosGivenAction(s[0], a, 0)\n",
    "#     print('bluePossition: ', bluePossition)\n",
    "    \n",
    "    # red possible action given state\n",
    "    if s[0][1] == 5:\n",
    "        actions=[\"stay\"]\n",
    "    elif s[0][1] < 6:\n",
    "        actions=[\"right\",\"stay\", \"down\"]\n",
    "    else:\n",
    "        actions=[\"stay\", \"up\"]\n",
    "#     print('actions: ', actions)\n",
    "    for r_a in actions:\n",
    "        redPossition = newPosGivenAction(s[0], r_a, 1)\n",
    "#         print('r_a: ', r_a)\n",
    "#         print('redPossition: ', redPossition)\n",
    "        newState = ((bluePossition, redPossition),s[0])\n",
    "#         print('newState: ', newState)\n",
    "        try:\n",
    "            nxt[newState] = probs[adapt_state(s[1]) + ' nxt: ' + adapt_state(s[0])][r_a]\n",
    "        except KeyError:\n",
    "#             print(\"Warning! State not found: assume random behavior. \", s[0])\n",
    "            nxt[newState] = randomProbForAction(s[0])\n",
    "    assert abs(sum(nxt.values()) - 1.0) < 0.0001, \"probs not sum to 1.0. \\nstate: \" + str(s) + \" action: \" + str(a) + \" nxt: \" + str(nxt) + \"\\nsum of probs: \" + str(sum(nxt.values()))\n",
    "    return nxt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "'''==================================================\n",
    "Value Iteration\n",
    "=================================================='''\n",
    "def value_iteration():\n",
    "    iteration = 1\n",
    "    while True:\n",
    "        biggest_change = 0\n",
    "        for s in all_states:            \n",
    "            if s in policy:\n",
    "\n",
    "                old_v = V[s]\n",
    "                new_v = np.NINF\n",
    "\n",
    "                for a in actions[s]:\n",
    "                    nxt = nextStateDistibution(s, a)\n",
    "\n",
    "                    v=0\n",
    "                    #Calculate the value\n",
    "                    for next_state, prob in nxt.items():\n",
    "                        v += prob * (rewards[s] + GAMMA * V[next_state])\n",
    "                    if v > new_v: #Is this the best action so far? If so, keep it\n",
    "                        new_v = v\n",
    "                        policy[s] = a\n",
    "\n",
    "               #Save the best of all actions for the state                                \n",
    "                V[s] = new_v\n",
    "                biggest_change = max(biggest_change, np.abs(old_v - V[s]))\n",
    "\n",
    "       #See if the loop should stop now         \n",
    "        if biggest_change < SMALL_ENOUGH:\n",
    "            print('converge after: ' + str(iteration) + ' iterations')\n",
    "            break\n",
    "        iteration += 1\n",
    "\n",
    "        #Print every 100 iterations\n",
    "        if(iteration % 100 == 0):\n",
    "            print(iteration, ') ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "def convertStates(policy):\n",
    "    P_convert= {}\n",
    "    V_convert = {}\n",
    "    for s,v in V.items():\n",
    "        V_convert[adapt_state(s[0]) + ',' + adapt_state(s[1])] = v\n",
    "    \n",
    "#     print()\n",
    "    for s,p in policy.items():\n",
    "        P_convert[adapt_state(s[0]) + ',' + adapt_state(s[1])] = p\n",
    "    \n",
    "#     pp.pprint(V_convert)\n",
    "#     pp.pprint(P_convert)\n",
    "    return P_convert, V_convert"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "def policy_eval(policy):\n",
    "    # reward calculate by the base VI with velocity\n",
    "    rewards = {}\n",
    "    for ((i,j),(l,k)) in all_states:\n",
    "        if(i == j): # crushed\n",
    "            rewards[((i,j),(l,k))] = crushing\n",
    "        elif(i == 0 and j != 0): # blue agent in a1\n",
    "            rewards[((i,j),(l,k))] = richToDestination\n",
    "        else:\n",
    "            rewards[((i,j),(l,k))] = step\n",
    "    V={}\n",
    "    for s in all_states:\n",
    "        V[s] = rewards[s]\n",
    "    while True:\n",
    "        biggest_change = 0\n",
    "        for s in all_states:\n",
    "            if s in policy:\n",
    "                old_v = V[s]\n",
    "                nxt = nextStateDistibution(s, policy[s])\n",
    "                v=0\n",
    "                #Calculate the value\n",
    "                for next_state, prob in nxt.items():\n",
    "                    v += prob * (rewards[s] + GAMMA * V[next_state])\n",
    "        \n",
    "                #Save the best of all actions for the state                                \n",
    "                V[s] = v\n",
    "                biggest_change = max(biggest_change, np.abs(old_v - V[s]))\n",
    "        #See if the loop should stop now         \n",
    "        if biggest_change < SMALL_ENOUGH:\n",
    "            return V"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## VI base agent (beta = 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Define rewards for all states\n",
    "rewards = {}\n",
    "for s in all_states:\n",
    "    rewards[s] = social_beta_reward(s, 1) # social\n",
    "\n",
    "#Define initial value function \n",
    "V={}\n",
    "for s in all_states:\n",
    "    V[s] = social_beta_reward(s, 1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "100 ) \n",
      "converge after: 140 iterations\n"
     ]
    }
   ],
   "source": [
    "value_iteration()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'a2 a1,a2 a1': 'down',\n",
       " 'a2 b1,a2 a1': 'left',\n",
       " 'b2 a2,a2 a1': 'up',\n",
       " 'b2 a1,a2 a1': 'stay',\n",
       " 'b2 b1,a2 a1': 'stay',\n",
       " 'a2 a4,a2 a3': 'left',\n",
       " 'a2 a3,a2 a3': 'left',\n",
       " 'a2 b3,a2 a3': 'left',\n",
       " 'b2 a4,a2 a3': 'up',\n",
       " 'b2 a3,a2 a3': 'up',\n",
       " 'b2 b3,a2 a3': 'up',\n",
       " 'a2 a5,a2 a4': 'left',\n",
       " 'a2 a4,a2 a4': 'left',\n",
       " 'a2 b4,a2 a4': 'left',\n",
       " 'b2 a5,a2 a4': 'up',\n",
       " 'b2 a4,a2 a4': 'up',\n",
       " 'b2 b4,a2 a4': 'up',\n",
       " 'a2 a6,a2 a5': 'left',\n",
       " 'a2 a5,a2 a5': 'left',\n",
       " 'a2 b5,a2 a5': 'left',\n",
       " 'b2 a6,a2 a5': 'up',\n",
       " 'b2 a5,a2 a5': 'up',\n",
       " 'b2 b5,a2 a5': 'up',\n",
       " 'a2 a6,a2 a6': 'left',\n",
       " 'b2 a6,a2 a6': 'up',\n",
       " 'a2 b1,a2 b1': 'down',\n",
       " 'a2 a1,a2 b1': 'down',\n",
       " 'b2 b1,a2 b1': 'stay',\n",
       " 'b2 a1,a2 b1': 'stay',\n",
       " 'a2 b2,a2 b2': 'left',\n",
       " 'b2 a2,a2 b2': 'up',\n",
       " 'a2 b3,a2 b3': 'left',\n",
       " 'a2 a3,a2 b3': 'left',\n",
       " 'b2 b3,a2 b3': 'up',\n",
       " 'b2 a3,a2 b3': 'up',\n",
       " 'a2 b4,a2 b4': 'left',\n",
       " 'a2 a4,a2 b4': 'left',\n",
       " 'b2 b4,a2 b4': 'up',\n",
       " 'b2 a4,a2 b4': 'up',\n",
       " 'a2 b5,a2 b5': 'left',\n",
       " 'a2 a5,a2 b5': 'left',\n",
       " 'b2 b5,a2 b5': 'up',\n",
       " 'b2 a5,a2 b5': 'up',\n",
       " 'a2 b6,a2 b6': 'left',\n",
       " 'a2 a6,a2 b6': 'left',\n",
       " 'b2 b6,a2 b6': 'up',\n",
       " 'b2 a6,a2 b6': 'up',\n",
       " 'a3 a2,a3 a1': 'down',\n",
       " 'a3 a1,a3 a1': 'down',\n",
       " 'a3 b1,a3 a1': 'left',\n",
       " 'a2 a1,a3 a1': 'down',\n",
       " 'a2 b1,a3 a1': 'down',\n",
       " 'b3 a2,a3 a1': 'stay',\n",
       " 'b3 a1,a3 a1': 'up',\n",
       " 'b3 b1,a3 a1': 'up',\n",
       " 'a3 a2,a3 a2': 'down',\n",
       " 'a3 b2,a3 a2': 'stay',\n",
       " 'a2 a3,a3 a2': 'left',\n",
       " 'a2 b2,a3 a2': 'left',\n",
       " 'b3 a3,a3 a2': 'up',\n",
       " 'b3 a2,a3 a2': 'stay',\n",
       " 'b3 b2,a3 a2': 'stay',\n",
       " 'a3 a5,a3 a4': 'left',\n",
       " 'a3 a4,a3 a4': 'left',\n",
       " 'a3 b4,a3 a4': 'left',\n",
       " 'a2 a5,a3 a4': 'left',\n",
       " 'a2 a4,a3 a4': 'left',\n",
       " 'a2 b4,a3 a4': 'left',\n",
       " 'b3 a5,a3 a4': 'up',\n",
       " 'b3 a4,a3 a4': 'up',\n",
       " 'b3 b4,a3 a4': 'up',\n",
       " 'a3 a6,a3 a5': 'left',\n",
       " 'a3 a5,a3 a5': 'left',\n",
       " 'a3 b5,a3 a5': 'left',\n",
       " 'a2 a6,a3 a5': 'left',\n",
       " 'a2 a5,a3 a5': 'left',\n",
       " 'a2 b5,a3 a5': 'left',\n",
       " 'b3 a6,a3 a5': 'up',\n",
       " 'b3 a5,a3 a5': 'up',\n",
       " 'b3 b5,a3 a5': 'up',\n",
       " 'a3 a6,a3 a6': 'left',\n",
       " 'a2 a6,a3 a6': 'left',\n",
       " 'b3 a6,a3 a6': 'up',\n",
       " 'a3 b1,a3 b1': 'down',\n",
       " 'a3 a1,a3 b1': 'stay',\n",
       " 'a2 b1,a3 b1': 'left',\n",
       " 'a2 a1,a3 b1': 'down',\n",
       " 'b3 b1,a3 b1': 'up',\n",
       " 'b3 a1,a3 b1': 'up',\n",
       " 'a3 b2,a3 b2': 'stay',\n",
       " 'a3 a2,a3 b2': 'down',\n",
       " 'a2 b2,a3 b2': 'left',\n",
       " 'b3 b2,a3 b2': 'stay',\n",
       " 'b3 a2,a3 b2': 'stay',\n",
       " 'a3 b3,a3 b3': 'left',\n",
       " 'a2 b3,a3 b3': 'left',\n",
       " 'a2 a3,a3 b3': 'left',\n",
       " 'b3 a3,a3 b3': 'up',\n",
       " 'a3 b4,a3 b4': 'left',\n",
       " 'a3 a4,a3 b4': 'left',\n",
       " 'a2 b4,a3 b4': 'left',\n",
       " 'a2 a4,a3 b4': 'left',\n",
       " 'b3 b4,a3 b4': 'up',\n",
       " 'b3 a4,a3 b4': 'up',\n",
       " 'a3 b5,a3 b5': 'left',\n",
       " 'a3 a5,a3 b5': 'left',\n",
       " 'a2 b5,a3 b5': 'left',\n",
       " 'a2 a5,a3 b5': 'left',\n",
       " 'b3 b5,a3 b5': 'up',\n",
       " 'b3 a5,a3 b5': 'up',\n",
       " 'a3 b6,a3 b6': 'left',\n",
       " 'a3 a6,a3 b6': 'left',\n",
       " 'a2 b6,a3 b6': 'left',\n",
       " 'a2 a6,a3 b6': 'left',\n",
       " 'b3 b6,a3 b6': 'up',\n",
       " 'b3 a6,a3 b6': 'up',\n",
       " 'a4 a2,a4 a1': 'stay',\n",
       " 'a4 a1,a4 a1': 'left',\n",
       " 'a4 b1,a4 a1': 'left',\n",
       " 'a3 a2,a4 a1': 'left',\n",
       " 'a3 a1,a4 a1': 'down',\n",
       " 'a3 b1,a4 a1': 'left',\n",
       " 'b4 a2,a4 a1': 'up',\n",
       " 'b4 a1,a4 a1': 'up',\n",
       " 'b4 b1,a4 a1': 'up',\n",
       " 'a4 a3,a4 a2': 'down',\n",
       " 'a4 a2,a4 a2': 'stay',\n",
       " 'a4 b2,a4 a2': 'left',\n",
       " 'a3 a2,a4 a2': 'down',\n",
       " 'a3 b2,a4 a2': 'stay',\n",
       " 'b4 a3,a4 a2': 'stay',\n",
       " 'b4 a2,a4 a2': 'up',\n",
       " 'b4 b2,a4 a2': 'up',\n",
       " 'a4 a3,a4 a3': 'down',\n",
       " 'a4 b3,a4 a3': 'down',\n",
       " 'a3 a4,a4 a3': 'left',\n",
       " 'a3 b3,a4 a3': 'left',\n",
       " 'b4 a4,a4 a3': 'up',\n",
       " 'b4 a3,a4 a3': 'stay',\n",
       " 'b4 b3,a4 a3': 'stay',\n",
       " 'a4 a6,a4 a5': 'left',\n",
       " 'a4 a5,a4 a5': 'left',\n",
       " 'a4 b5,a4 a5': 'left',\n",
       " 'a3 a6,a4 a5': 'left',\n",
       " 'a3 a5,a4 a5': 'left',\n",
       " 'a3 b5,a4 a5': 'left',\n",
       " 'b4 a6,a4 a5': 'up',\n",
       " 'b4 a5,a4 a5': 'up',\n",
       " 'b4 b5,a4 a5': 'up',\n",
       " 'a4 a6,a4 a6': 'left',\n",
       " 'a3 a6,a4 a6': 'left',\n",
       " 'b4 a6,a4 a6': 'up',\n",
       " 'a4 b1,a4 b1': 'left',\n",
       " 'a4 a1,a4 b1': 'left',\n",
       " 'a3 b1,a4 b1': 'left',\n",
       " 'a3 a1,a4 b1': 'stay',\n",
       " 'b4 b1,a4 b1': 'up',\n",
       " 'b4 a1,a4 b1': 'up',\n",
       " 'a4 b2,a4 b2': 'left',\n",
       " 'a4 a2,a4 b2': 'stay',\n",
       " 'a3 b2,a4 b2': 'stay',\n",
       " 'a3 a2,a4 b2': 'down',\n",
       " 'b4 b2,a4 b2': 'up',\n",
       " 'b4 a2,a4 b2': 'up',\n",
       " 'a4 b3,a4 b3': 'down',\n",
       " 'a4 a3,a4 b3': 'down',\n",
       " 'a3 b3,a4 b3': 'left',\n",
       " 'b4 b3,a4 b3': 'stay',\n",
       " 'b4 a3,a4 b3': 'stay',\n",
       " 'a4 b4,a4 b4': 'left',\n",
       " 'a3 b4,a4 b4': 'left',\n",
       " 'a3 a4,a4 b4': 'left',\n",
       " 'b4 a4,a4 b4': 'up',\n",
       " 'a4 b5,a4 b5': 'left',\n",
       " 'a4 a5,a4 b5': 'left',\n",
       " 'a3 b5,a4 b5': 'left',\n",
       " 'a3 a5,a4 b5': 'left',\n",
       " 'b4 b5,a4 b5': 'up',\n",
       " 'b4 a5,a4 b5': 'up',\n",
       " 'a4 b6,a4 b6': 'left',\n",
       " 'a4 a6,a4 b6': 'left',\n",
       " 'a3 b6,a4 b6': 'left',\n",
       " 'a3 a6,a4 b6': 'left',\n",
       " 'b4 b6,a4 b6': 'up',\n",
       " 'b4 a6,a4 b6': 'up',\n",
       " 'a5 a2,a5 a1': 'left',\n",
       " 'a5 a1,a5 a1': 'stay',\n",
       " 'a5 b1,a5 a1': 'left',\n",
       " 'a4 a2,a5 a1': 'stay',\n",
       " 'a4 a1,a5 a1': 'left',\n",
       " 'a4 b1,a5 a1': 'left',\n",
       " 'b5 a2,a5 a1': 'up',\n",
       " 'b5 a1,a5 a1': 'up',\n",
       " 'b5 b1,a5 a1': 'up',\n",
       " 'a5 a3,a5 a2': 'down',\n",
       " 'a5 a2,a5 a2': 'left',\n",
       " 'a5 b2,a5 a2': 'left',\n",
       " 'a4 a3,a5 a2': 'left',\n",
       " 'a4 a2,a5 a2': 'stay',\n",
       " 'a4 b2,a5 a2': 'left',\n",
       " 'b5 a3,a5 a2': 'stay',\n",
       " 'b5 a2,a5 a2': 'up',\n",
       " 'b5 b2,a5 a2': 'up',\n",
       " 'a5 a4,a5 a3': 'down',\n",
       " 'a5 a3,a5 a3': 'stay',\n",
       " 'a5 b3,a5 a3': 'left',\n",
       " 'a4 a3,a5 a3': 'down',\n",
       " 'a4 b3,a5 a3': 'left',\n",
       " 'b5 a4,a5 a3': 'stay',\n",
       " 'b5 a3,a5 a3': 'up',\n",
       " 'b5 b3,a5 a3': 'up',\n",
       " 'a5 a4,a5 a4': 'down',\n",
       " 'a5 b4,a5 a4': 'down',\n",
       " 'a4 a5,a5 a4': 'left',\n",
       " 'a4 b4,a5 a4': 'left',\n",
       " 'b5 a5,a5 a4': 'up',\n",
       " 'b5 a4,a5 a4': 'stay',\n",
       " 'b5 b4,a5 a4': 'stay',\n",
       " 'a5 a6,a5 a6': 'left',\n",
       " 'a4 a6,a5 a6': 'left',\n",
       " 'b5 a6,a5 a6': 'up',\n",
       " 'a5 b1,a5 b1': 'left',\n",
       " 'a5 a1,a5 b1': 'stay',\n",
       " 'a4 b1,a5 b1': 'left',\n",
       " 'a4 a1,a5 b1': 'left',\n",
       " 'b5 b1,a5 b1': 'up',\n",
       " 'b5 a1,a5 b1': 'up',\n",
       " 'a5 b2,a5 b2': 'left',\n",
       " 'a5 a2,a5 b2': 'left',\n",
       " 'a4 b2,a5 b2': 'left',\n",
       " 'a4 a2,a5 b2': 'stay',\n",
       " 'b5 b2,a5 b2': 'up',\n",
       " 'b5 a2,a5 b2': 'up',\n",
       " 'a5 b3,a5 b3': 'left',\n",
       " 'a5 a3,a5 b3': 'stay',\n",
       " 'a4 b3,a5 b3': 'down',\n",
       " 'a4 a3,a5 b3': 'down',\n",
       " 'b5 b3,a5 b3': 'up',\n",
       " 'b5 a3,a5 b3': 'up',\n",
       " 'a5 b4,a5 b4': 'down',\n",
       " 'a5 a4,a5 b4': 'down',\n",
       " 'a4 b4,a5 b4': 'left',\n",
       " 'b5 b4,a5 b4': 'stay',\n",
       " 'b5 a4,a5 b4': 'stay',\n",
       " 'a5 b5,a5 b5': 'left',\n",
       " 'a4 b5,a5 b5': 'left',\n",
       " 'a4 a5,a5 b5': 'left',\n",
       " 'b5 a5,a5 b5': 'up',\n",
       " 'a5 b6,a5 b6': 'left',\n",
       " 'a5 a6,a5 b6': 'left',\n",
       " 'a4 b6,a5 b6': 'left',\n",
       " 'a4 a6,a5 b6': 'left',\n",
       " 'b5 b6,a5 b6': 'up',\n",
       " 'b5 a6,a5 b6': 'up',\n",
       " 'a6 a2,a6 a1': 'left',\n",
       " 'a6 a1,a6 a1': 'left',\n",
       " 'a6 b1,a6 a1': 'left',\n",
       " 'a5 a2,a6 a1': 'left',\n",
       " 'a5 a1,a6 a1': 'stay',\n",
       " 'a5 b1,a6 a1': 'left',\n",
       " 'b6 a2,a6 a1': 'up',\n",
       " 'b6 a1,a6 a1': 'up',\n",
       " 'b6 b1,a6 a1': 'up',\n",
       " 'a6 a3,a6 a2': 'stay',\n",
       " 'a6 a2,a6 a2': 'left',\n",
       " 'a6 b2,a6 a2': 'left',\n",
       " 'a5 a3,a6 a2': 'down',\n",
       " 'a5 a2,a6 a2': 'left',\n",
       " 'a5 b2,a6 a2': 'left',\n",
       " 'b6 a3,a6 a2': 'up',\n",
       " 'b6 a2,a6 a2': 'up',\n",
       " 'b6 b2,a6 a2': 'up',\n",
       " 'a6 a4,a6 a3': 'stay',\n",
       " 'a6 a3,a6 a3': 'left',\n",
       " 'a6 b3,a6 a3': 'left',\n",
       " 'a5 a4,a6 a3': 'down',\n",
       " 'a5 a3,a6 a3': 'stay',\n",
       " 'a5 b3,a6 a3': 'left',\n",
       " 'b6 a4,a6 a3': 'up',\n",
       " 'b6 a3,a6 a3': 'up',\n",
       " 'b6 b3,a6 a3': 'up',\n",
       " 'a6 a5,a6 a4': 'left',\n",
       " 'a6 a4,a6 a4': 'stay',\n",
       " 'a6 b4,a6 a4': 'stay',\n",
       " 'a5 a4,a6 a4': 'down',\n",
       " 'a5 b4,a6 a4': 'down',\n",
       " 'b6 a5,a6 a4': 'up',\n",
       " 'b6 a4,a6 a4': 'up',\n",
       " 'b6 b4,a6 a4': 'up',\n",
       " 'a6 a5,a6 a5': 'left',\n",
       " 'a6 b5,a6 a5': 'left',\n",
       " 'a5 a6,a6 a5': 'left',\n",
       " 'a5 b5,a6 a5': 'left',\n",
       " 'b6 a6,a6 a5': 'up',\n",
       " 'b6 a5,a6 a5': 'up',\n",
       " 'b6 b5,a6 a5': 'up',\n",
       " 'a6 b1,a6 b1': 'left',\n",
       " 'a6 a1,a6 b1': 'left',\n",
       " 'a5 b1,a6 b1': 'left',\n",
       " 'a5 a1,a6 b1': 'stay',\n",
       " 'b6 b1,a6 b1': 'up',\n",
       " 'b6 a1,a6 b1': 'up',\n",
       " 'a6 b2,a6 b2': 'left',\n",
       " 'a6 a2,a6 b2': 'left',\n",
       " 'a5 b2,a6 b2': 'left',\n",
       " 'a5 a2,a6 b2': 'left',\n",
       " 'b6 b2,a6 b2': 'up',\n",
       " 'b6 a2,a6 b2': 'up',\n",
       " 'a6 b3,a6 b3': 'left',\n",
       " 'a6 a3,a6 b3': 'left',\n",
       " 'a5 b3,a6 b3': 'left',\n",
       " 'a5 a3,a6 b3': 'stay',\n",
       " 'b6 b3,a6 b3': 'up',\n",
       " 'b6 a3,a6 b3': 'up',\n",
       " 'a6 b4,a6 b4': 'left',\n",
       " 'a6 a4,a6 b4': 'stay',\n",
       " 'a5 b4,a6 b4': 'down',\n",
       " 'a5 a4,a6 b4': 'down',\n",
       " 'b6 b4,a6 b4': 'up',\n",
       " 'b6 a4,a6 b4': 'up',\n",
       " 'a6 b5,a6 b5': 'stay',\n",
       " 'a6 a5,a6 b5': 'left',\n",
       " 'a5 b5,a6 b5': 'left',\n",
       " 'b6 b5,a6 b5': 'up',\n",
       " 'b6 a5,a6 b5': 'up',\n",
       " 'a6 b6,a6 b6': 'left',\n",
       " 'a5 b6,a6 b6': 'left',\n",
       " 'a5 a6,a6 b6': 'left',\n",
       " 'b6 a6,a6 b6': 'up',\n",
       " 'b1 a2,b1 a1': 'up',\n",
       " 'b1 a1,b1 a1': 'up',\n",
       " 'b1 a3,b1 a2': 'up',\n",
       " 'b1 a2,b1 a2': 'up',\n",
       " 'b1 b2,b1 a2': 'up',\n",
       " 'b1 a4,b1 a3': 'up',\n",
       " 'b1 a3,b1 a3': 'up',\n",
       " 'b1 b3,b1 a3': 'up',\n",
       " 'b1 a5,b1 a4': 'up',\n",
       " 'b1 a4,b1 a4': 'up',\n",
       " 'b1 b4,b1 a4': 'up',\n",
       " 'b1 a6,b1 a5': 'up',\n",
       " 'b1 a5,b1 a5': 'up',\n",
       " 'b1 b5,b1 a5': 'up',\n",
       " 'b1 a6,b1 a6': 'up',\n",
       " 'b1 b2,b1 b2': 'up',\n",
       " 'b1 a2,b1 b2': 'up',\n",
       " 'b1 b3,b1 b3': 'up',\n",
       " 'b1 a3,b1 b3': 'up',\n",
       " 'b1 b4,b1 b4': 'up',\n",
       " 'b1 a4,b1 b4': 'up',\n",
       " 'b1 b5,b1 b5': 'up',\n",
       " 'b1 a5,b1 b5': 'up',\n",
       " 'b1 b6,b1 b6': 'up',\n",
       " 'b1 a6,b1 b6': 'up',\n",
       " 'a2 a1,b2 a1': 'down',\n",
       " 'a2 b1,b2 a1': 'down',\n",
       " 'b2 a2,b2 a1': 'up',\n",
       " 'b2 a1,b2 a1': 'stay',\n",
       " 'b2 b1,b2 a1': 'stay',\n",
       " 'a2 a3,b2 a2': 'left',\n",
       " 'a2 b2,b2 a2': 'left',\n",
       " 'b2 a3,b2 a2': 'up',\n",
       " 'b2 a2,b2 a2': 'up',\n",
       " 'a2 a4,b2 a3': 'left',\n",
       " 'a2 a3,b2 a3': 'left',\n",
       " 'a2 b3,b2 a3': 'left',\n",
       " 'b2 a4,b2 a3': 'up',\n",
       " 'b2 a3,b2 a3': 'up',\n",
       " 'b2 b3,b2 a3': 'up',\n",
       " 'a2 a5,b2 a4': 'left',\n",
       " 'a2 a4,b2 a4': 'left',\n",
       " 'a2 b4,b2 a4': 'left',\n",
       " 'b2 a5,b2 a4': 'up',\n",
       " 'b2 a4,b2 a4': 'up',\n",
       " 'b2 b4,b2 a4': 'up',\n",
       " 'a2 a6,b2 a5': 'left',\n",
       " 'a2 a5,b2 a5': 'left',\n",
       " 'a2 b5,b2 a5': 'left',\n",
       " 'b2 a6,b2 a5': 'up',\n",
       " 'b2 a5,b2 a5': 'up',\n",
       " 'b2 b5,b2 a5': 'up',\n",
       " 'a2 a6,b2 a6': 'left',\n",
       " 'b2 a6,b2 a6': 'up',\n",
       " 'a2 b1,b2 b1': 'down',\n",
       " 'a2 a1,b2 b1': 'down',\n",
       " 'b2 b1,b2 b1': 'up',\n",
       " 'b2 a1,b2 b1': 'stay',\n",
       " 'a2 b3,b2 b3': 'left',\n",
       " 'a2 a3,b2 b3': 'left',\n",
       " 'b2 b3,b2 b3': 'up',\n",
       " 'b2 a3,b2 b3': 'up',\n",
       " 'a2 b4,b2 b4': 'left',\n",
       " 'a2 a4,b2 b4': 'left',\n",
       " 'b2 b4,b2 b4': 'up',\n",
       " 'b2 a4,b2 b4': 'up',\n",
       " 'a2 b5,b2 b5': 'left',\n",
       " 'a2 a5,b2 b5': 'left',\n",
       " 'b2 b5,b2 b5': 'up',\n",
       " 'b2 a5,b2 b5': 'up',\n",
       " 'a2 b6,b2 b6': 'left',\n",
       " 'a2 a6,b2 b6': 'left',\n",
       " 'b2 b6,b2 b6': 'up',\n",
       " 'b2 a6,b2 b6': 'up',\n",
       " 'a3 a2,b3 a1': 'down',\n",
       " 'a3 a1,b3 a1': 'stay',\n",
       " 'a3 b1,b3 a1': 'left',\n",
       " 'b3 a2,b3 a1': 'stay',\n",
       " 'b3 a1,b3 a1': 'up',\n",
       " 'b3 b1,b3 a1': 'up',\n",
       " 'a3 a2,b3 a2': 'down',\n",
       " 'a3 b2,b3 a2': 'stay',\n",
       " 'b3 a3,b3 a2': 'up',\n",
       " 'b3 a2,b3 a2': 'stay',\n",
       " 'b3 b2,b3 a2': 'stay',\n",
       " 'a3 a4,b3 a3': 'left',\n",
       " 'a3 b3,b3 a3': 'left',\n",
       " 'b3 a4,b3 a3': 'stay',\n",
       " 'b3 a3,b3 a3': 'up',\n",
       " 'a3 a5,b3 a4': 'left',\n",
       " 'a3 a4,b3 a4': 'left',\n",
       " 'a3 b4,b3 a4': 'left',\n",
       " 'b3 a5,b3 a4': 'up',\n",
       " 'b3 a4,b3 a4': 'up',\n",
       " 'b3 b4,b3 a4': 'up',\n",
       " 'a3 a6,b3 a5': 'left',\n",
       " 'a3 a5,b3 a5': 'left',\n",
       " 'a3 b5,b3 a5': 'left',\n",
       " 'b3 a6,b3 a5': 'up',\n",
       " 'b3 a5,b3 a5': 'up',\n",
       " 'b3 b5,b3 a5': 'up',\n",
       " 'a3 a6,b3 a6': 'left',\n",
       " 'b3 a6,b3 a6': 'up',\n",
       " 'a3 b1,b3 b1': 'left',\n",
       " 'a3 a1,b3 b1': 'stay',\n",
       " 'b3 b1,b3 b1': 'up',\n",
       " 'b3 a1,b3 b1': 'stay',\n",
       " 'a3 b2,b3 b2': 'stay',\n",
       " 'a3 a2,b3 b2': 'down',\n",
       " 'b3 b2,b3 b2': 'up',\n",
       " 'b3 a2,b3 b2': 'stay',\n",
       " 'a3 b4,b3 b4': 'left',\n",
       " 'a3 a4,b3 b4': 'left',\n",
       " 'b3 b4,b3 b4': 'up',\n",
       " 'b3 a4,b3 b4': 'up',\n",
       " 'a3 b5,b3 b5': 'left',\n",
       " 'a3 a5,b3 b5': 'left',\n",
       " 'b3 b5,b3 b5': 'up',\n",
       " 'b3 a5,b3 b5': 'up',\n",
       " 'a3 b6,b3 b6': 'left',\n",
       " 'a3 a6,b3 b6': 'left',\n",
       " 'b3 b6,b3 b6': 'up',\n",
       " 'b3 a6,b3 b6': 'up',\n",
       " 'a4 a2,b4 a1': 'stay',\n",
       " 'a4 a1,b4 a1': 'left',\n",
       " 'a4 b1,b4 a1': 'left',\n",
       " 'b4 a2,b4 a1': 'up',\n",
       " 'b4 a1,b4 a1': 'up',\n",
       " 'b4 b1,b4 a1': 'up',\n",
       " 'a4 a3,b4 a2': 'down',\n",
       " 'a4 a2,b4 a2': 'stay',\n",
       " 'a4 b2,b4 a2': 'left',\n",
       " 'b4 a3,b4 a2': 'stay',\n",
       " 'b4 a2,b4 a2': 'up',\n",
       " 'b4 b2,b4 a2': 'up',\n",
       " 'a4 a3,b4 a3': 'down',\n",
       " 'a4 b3,b4 a3': 'down',\n",
       " 'b4 a4,b4 a3': 'up',\n",
       " 'b4 a3,b4 a3': 'stay',\n",
       " 'b4 b3,b4 a3': 'stay',\n",
       " 'a4 a5,b4 a4': 'left',\n",
       " 'a4 b4,b4 a4': 'left',\n",
       " 'b4 a5,b4 a4': 'up',\n",
       " 'b4 a4,b4 a4': 'stay',\n",
       " 'a4 a6,b4 a5': 'left',\n",
       " 'a4 a5,b4 a5': 'left',\n",
       " 'a4 b5,b4 a5': 'left',\n",
       " 'b4 a6,b4 a5': 'up',\n",
       " 'b4 a5,b4 a5': 'up',\n",
       " 'b4 b5,b4 a5': 'up',\n",
       " 'a4 a6,b4 a6': 'left',\n",
       " 'b4 a6,b4 a6': 'up',\n",
       " 'a4 b1,b4 b1': 'left',\n",
       " 'a4 a1,b4 b1': 'left',\n",
       " 'b4 b1,b4 b1': 'up',\n",
       " 'b4 a1,b4 b1': 'up',\n",
       " 'a4 b2,b4 b2': 'left',\n",
       " 'a4 a2,b4 b2': 'stay',\n",
       " 'b4 b2,b4 b2': 'up',\n",
       " 'b4 a2,b4 b2': 'up',\n",
       " 'a4 b3,b4 b3': 'down',\n",
       " 'a4 a3,b4 b3': 'down',\n",
       " 'b4 b3,b4 b3': 'stay',\n",
       " 'b4 a3,b4 b3': 'stay',\n",
       " 'a4 b5,b4 b5': 'left',\n",
       " 'a4 a5,b4 b5': 'left',\n",
       " 'b4 b5,b4 b5': 'up',\n",
       " 'b4 a5,b4 b5': 'up',\n",
       " 'a4 b6,b4 b6': 'left',\n",
       " 'a4 a6,b4 b6': 'left',\n",
       " 'b4 b6,b4 b6': 'up',\n",
       " 'b4 a6,b4 b6': 'up',\n",
       " 'a5 a2,b5 a1': 'left',\n",
       " 'a5 a1,b5 a1': 'stay',\n",
       " 'a5 b1,b5 a1': 'left',\n",
       " 'b5 a2,b5 a1': 'up',\n",
       " 'b5 a1,b5 a1': 'up',\n",
       " 'b5 b1,b5 a1': 'up',\n",
       " 'a5 a3,b5 a2': 'stay',\n",
       " 'a5 a2,b5 a2': 'left',\n",
       " 'a5 b2,b5 a2': 'left',\n",
       " 'b5 a3,b5 a2': 'up',\n",
       " 'b5 a2,b5 a2': 'up',\n",
       " 'b5 b2,b5 a2': 'up',\n",
       " 'a5 a4,b5 a3': 'down',\n",
       " 'a5 a3,b5 a3': 'stay',\n",
       " 'a5 b3,b5 a3': 'left',\n",
       " 'b5 a4,b5 a3': 'stay',\n",
       " 'b5 a3,b5 a3': 'up',\n",
       " 'b5 b3,b5 a3': 'up',\n",
       " 'a5 a4,b5 a4': 'down',\n",
       " 'a5 b4,b5 a4': 'down',\n",
       " 'b5 a5,b5 a4': 'up',\n",
       " 'b5 a4,b5 a4': 'stay',\n",
       " 'b5 b4,b5 a4': 'stay',\n",
       " 'a5 a6,b5 a5': 'left',\n",
       " 'a5 b5,b5 a5': 'left',\n",
       " 'b5 a6,b5 a5': 'up',\n",
       " 'b5 a5,b5 a5': 'up',\n",
       " 'a5 a6,b5 a6': 'left',\n",
       " 'b5 a6,b5 a6': 'up',\n",
       " 'a5 b1,b5 b1': 'left',\n",
       " 'a5 a1,b5 b1': 'stay',\n",
       " 'b5 b1,b5 b1': 'up',\n",
       " 'b5 a1,b5 b1': 'up',\n",
       " 'a5 b2,b5 b2': 'left',\n",
       " 'a5 a2,b5 b2': 'left',\n",
       " 'b5 b2,b5 b2': 'up',\n",
       " 'b5 a2,b5 b2': 'up',\n",
       " 'a5 b3,b5 b3': 'left',\n",
       " 'a5 a3,b5 b3': 'stay',\n",
       " 'b5 b3,b5 b3': 'up',\n",
       " 'b5 a3,b5 b3': 'up',\n",
       " 'a5 b4,b5 b4': 'down',\n",
       " 'a5 a4,b5 b4': 'down',\n",
       " 'b5 b4,b5 b4': 'stay',\n",
       " 'b5 a4,b5 b4': 'stay',\n",
       " 'a5 b6,b5 b6': 'left',\n",
       " 'a5 a6,b5 b6': 'left',\n",
       " 'b5 b6,b5 b6': 'up',\n",
       " 'b5 a6,b5 b6': 'up',\n",
       " 'a6 a2,b6 a1': 'left',\n",
       " 'a6 a1,b6 a1': 'left',\n",
       " 'a6 b1,b6 a1': 'left',\n",
       " 'b6 a2,b6 a1': 'up',\n",
       " 'b6 a1,b6 a1': 'up',\n",
       " 'b6 b1,b6 a1': 'up',\n",
       " 'a6 a3,b6 a2': 'left',\n",
       " 'a6 a2,b6 a2': 'left',\n",
       " 'a6 b2,b6 a2': 'left',\n",
       " 'b6 a3,b6 a2': 'up',\n",
       " 'b6 a2,b6 a2': 'up',\n",
       " 'b6 b2,b6 a2': 'up',\n",
       " 'a6 a4,b6 a3': 'stay',\n",
       " 'a6 a3,b6 a3': 'left',\n",
       " 'a6 b3,b6 a3': 'left',\n",
       " 'b6 a4,b6 a3': 'up',\n",
       " 'b6 a3,b6 a3': 'up',\n",
       " 'b6 b3,b6 a3': 'up',\n",
       " 'a6 a5,b6 a4': 'left',\n",
       " 'a6 a4,b6 a4': 'stay',\n",
       " 'a6 b4,b6 a4': 'left',\n",
       " 'b6 a5,b6 a4': 'up',\n",
       " 'b6 a4,b6 a4': 'up',\n",
       " 'b6 b4,b6 a4': 'up',\n",
       " 'a6 a5,b6 a5': 'left',\n",
       " 'a6 b5,b6 a5': 'left',\n",
       " 'b6 a6,b6 a5': 'up',\n",
       " 'b6 a5,b6 a5': 'up',\n",
       " 'b6 b5,b6 a5': 'up',\n",
       " 'b6 a6,b6 a6': 'up',\n",
       " 'a6 b1,b6 b1': 'left',\n",
       " 'a6 a1,b6 b1': 'left',\n",
       " 'b6 b1,b6 b1': 'up',\n",
       " 'b6 a1,b6 b1': 'up',\n",
       " 'a6 b2,b6 b2': 'left',\n",
       " 'a6 a2,b6 b2': 'left',\n",
       " 'b6 b2,b6 b2': 'up',\n",
       " 'b6 a2,b6 b2': 'up',\n",
       " 'a6 b3,b6 b3': 'left',\n",
       " 'a6 a3,b6 b3': 'left',\n",
       " 'b6 b3,b6 b3': 'up',\n",
       " 'b6 a3,b6 b3': 'up',\n",
       " 'a6 b4,b6 b4': 'left',\n",
       " 'a6 a4,b6 b4': 'stay',\n",
       " 'b6 b4,b6 b4': 'up',\n",
       " 'b6 a4,b6 b4': 'up',\n",
       " 'a6 b5,b6 b5': 'stay',\n",
       " 'a6 a5,b6 b5': 'left',\n",
       " 'b6 b5,b6 b5': 'up',\n",
       " 'b6 a5,b6 b5': 'up',\n",
       " 'a6 a1,a-9 a-9': 'left'}"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# print the results:\n",
    "VIbase_optimal_policy, VIbase_optimal_V = convertStates(policy)\n",
    "VIbase_optimal_policy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "VIbase_eval = policy_eval(policy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [],
   "source": [
    "VI_without_velocity = {((1, 0), (1, 0)): 'down',\n",
    " ((1, 6), (1, 0)): 'down',\n",
    " ((7, 1), (1, 0)): 'up',\n",
    " ((7, 0), (1, 0)): 'stay',\n",
    " ((7, 6), (1, 0)): 'stay',\n",
    " ((1, 3), (1, 2)): 'left',\n",
    " ((1, 2), (1, 2)): 'left',\n",
    " ((1, 8), (1, 2)): 'left',\n",
    " ((7, 3), (1, 2)): 'up',\n",
    " ((7, 2), (1, 2)): 'up',\n",
    " ((7, 8), (1, 2)): 'up',\n",
    " ((1, 4), (1, 3)): 'left',\n",
    " ((1, 3), (1, 3)): 'left',\n",
    " ((1, 9), (1, 3)): 'left',\n",
    " ((7, 4), (1, 3)): 'up',\n",
    " ((7, 3), (1, 3)): 'up',\n",
    " ((7, 9), (1, 3)): 'up',\n",
    " ((1, 5), (1, 4)): 'left',\n",
    " ((1, 4), (1, 4)): 'left',\n",
    " ((1, 10), (1, 4)): 'left',\n",
    " ((7, 5), (1, 4)): 'up',\n",
    " ((7, 4), (1, 4)): 'up',\n",
    " ((7, 10), (1, 4)): 'up',\n",
    " ((1, 5), (1, 5)): 'left',\n",
    " ((7, 5), (1, 5)): 'up',\n",
    " ((1, 6), (1, 6)): 'down',\n",
    " ((1, 0), (1, 6)): 'down',\n",
    " ((7, 6), (1, 6)): 'stay',\n",
    " ((7, 0), (1, 6)): 'stay',\n",
    " ((1, 7), (1, 7)): 'left',\n",
    " ((7, 1), (1, 7)): 'up',\n",
    " ((1, 8), (1, 8)): 'left',\n",
    " ((1, 2), (1, 8)): 'left',\n",
    " ((7, 8), (1, 8)): 'up',\n",
    " ((7, 2), (1, 8)): 'up',\n",
    " ((1, 9), (1, 9)): 'left',\n",
    " ((1, 3), (1, 9)): 'left',\n",
    " ((7, 9), (1, 9)): 'up',\n",
    " ((7, 3), (1, 9)): 'up',\n",
    " ((1, 10), (1, 10)): 'left',\n",
    " ((1, 4), (1, 10)): 'left',\n",
    " ((7, 10), (1, 10)): 'up',\n",
    " ((7, 4), (1, 10)): 'up',\n",
    " ((1, 11), (1, 11)): 'left',\n",
    " ((1, 5), (1, 11)): 'left',\n",
    " ((7, 11), (1, 11)): 'up',\n",
    " ((7, 5), (1, 11)): 'up',\n",
    " ((2, 1), (2, 0)): 'down',\n",
    " ((2, 0), (2, 0)): 'down',\n",
    " ((2, 6), (2, 0)): 'down',\n",
    " ((1, 0), (2, 0)): 'down',\n",
    " ((1, 6), (2, 0)): 'down',\n",
    " ((8, 1), (2, 0)): 'stay',\n",
    " ((8, 0), (2, 0)): 'stay',\n",
    " ((8, 6), (2, 0)): 'stay',\n",
    " ((2, 1), (2, 1)): 'down',\n",
    " ((2, 7), (2, 1)): 'down',\n",
    " ((1, 2), (2, 1)): 'left',\n",
    " ((1, 7), (2, 1)): 'left',\n",
    " ((8, 2), (2, 1)): 'up',\n",
    " ((8, 1), (2, 1)): 'stay',\n",
    " ((8, 7), (2, 1)): 'stay',\n",
    " ((2, 4), (2, 3)): 'left',\n",
    " ((2, 3), (2, 3)): 'left',\n",
    " ((2, 9), (2, 3)): 'left',\n",
    " ((1, 4), (2, 3)): 'left',\n",
    " ((1, 3), (2, 3)): 'left',\n",
    " ((1, 9), (2, 3)): 'left',\n",
    " ((8, 4), (2, 3)): 'up',\n",
    " ((8, 3), (2, 3)): 'up',\n",
    " ((8, 9), (2, 3)): 'up',\n",
    " ((2, 5), (2, 4)): 'left',\n",
    " ((2, 4), (2, 4)): 'left',\n",
    " ((2, 10), (2, 4)): 'left',\n",
    " ((1, 5), (2, 4)): 'left',\n",
    " ((1, 4), (2, 4)): 'left',\n",
    " ((1, 10), (2, 4)): 'left',\n",
    " ((8, 5), (2, 4)): 'up',\n",
    " ((8, 4), (2, 4)): 'up',\n",
    " ((8, 10), (2, 4)): 'up',\n",
    " ((2, 5), (2, 5)): 'left',\n",
    " ((1, 5), (2, 5)): 'left',\n",
    " ((8, 5), (2, 5)): 'up',\n",
    " ((2, 6), (2, 6)): 'down',\n",
    " ((2, 0), (2, 6)): 'down',\n",
    " ((1, 6), (2, 6)): 'down',\n",
    " ((1, 0), (2, 6)): 'down',\n",
    " ((8, 6), (2, 6)): 'stay',\n",
    " ((8, 0), (2, 6)): 'stay',\n",
    " ((2, 7), (2, 7)): 'down',\n",
    " ((2, 1), (2, 7)): 'down',\n",
    " ((1, 7), (2, 7)): 'left',\n",
    " ((8, 7), (2, 7)): 'stay',\n",
    " ((8, 1), (2, 7)): 'stay',\n",
    " ((2, 8), (2, 8)): 'left',\n",
    " ((1, 8), (2, 8)): 'left',\n",
    " ((1, 2), (2, 8)): 'left',\n",
    " ((8, 2), (2, 8)): 'up',\n",
    " ((2, 9), (2, 9)): 'left',\n",
    " ((2, 3), (2, 9)): 'left',\n",
    " ((1, 9), (2, 9)): 'left',\n",
    " ((1, 3), (2, 9)): 'left',\n",
    " ((8, 9), (2, 9)): 'up',\n",
    " ((8, 3), (2, 9)): 'up',\n",
    " ((2, 10), (2, 10)): 'left',\n",
    " ((2, 4), (2, 10)): 'left',\n",
    " ((1, 10), (2, 10)): 'left',\n",
    " ((1, 4), (2, 10)): 'left',\n",
    " ((8, 10), (2, 10)): 'up',\n",
    " ((8, 4), (2, 10)): 'up',\n",
    " ((2, 11), (2, 11)): 'left',\n",
    " ((2, 5), (2, 11)): 'left',\n",
    " ((1, 11), (2, 11)): 'left',\n",
    " ((1, 5), (2, 11)): 'left',\n",
    " ((8, 11), (2, 11)): 'up',\n",
    " ((8, 5), (2, 11)): 'up',\n",
    " ((3, 1), (3, 0)): 'stay',\n",
    " ((3, 0), (3, 0)): 'left',\n",
    " ((3, 6), (3, 0)): 'left',\n",
    " ((2, 1), (3, 0)): 'down',\n",
    " ((2, 0), (3, 0)): 'down',\n",
    " ((2, 6), (3, 0)): 'down',\n",
    " ((9, 1), (3, 0)): 'up',\n",
    " ((9, 0), (3, 0)): 'up',\n",
    " ((9, 6), (3, 0)): 'up',\n",
    " ((3, 2), (3, 1)): 'left',\n",
    " ((3, 1), (3, 1)): 'stay',\n",
    " ((3, 7), (3, 1)): 'left',\n",
    " ((2, 1), (3, 1)): 'down',\n",
    " ((2, 7), (3, 1)): 'down',\n",
    " ((9, 2), (3, 1)): 'stay',\n",
    " ((9, 1), (3, 1)): 'up',\n",
    " ((9, 7), (3, 1)): 'up',\n",
    " ((3, 2), (3, 2)): 'left',\n",
    " ((3, 8), (3, 2)): 'stay',\n",
    " ((2, 3), (3, 2)): 'left',\n",
    " ((2, 8), (3, 2)): 'left',\n",
    " ((9, 3), (3, 2)): 'stay',\n",
    " ((9, 2), (3, 2)): 'stay',\n",
    " ((9, 8), (3, 2)): 'up',\n",
    " ((3, 5), (3, 4)): 'left',\n",
    " ((3, 4), (3, 4)): 'left',\n",
    " ((3, 10), (3, 4)): 'left',\n",
    " ((2, 5), (3, 4)): 'left',\n",
    " ((2, 4), (3, 4)): 'left',\n",
    " ((2, 10), (3, 4)): 'left',\n",
    " ((9, 5), (3, 4)): 'up',\n",
    " ((9, 4), (3, 4)): 'up',\n",
    " ((9, 10), (3, 4)): 'up',\n",
    " ((3, 5), (3, 5)): 'left',\n",
    " ((2, 5), (3, 5)): 'left',\n",
    " ((9, 5), (3, 5)): 'up',\n",
    " ((3, 6), (3, 6)): 'left',\n",
    " ((3, 0), (3, 6)): 'left',\n",
    " ((2, 6), (3, 6)): 'down',\n",
    " ((2, 0), (3, 6)): 'down',\n",
    " ((9, 6), (3, 6)): 'up',\n",
    " ((9, 0), (3, 6)): 'up',\n",
    " ((3, 7), (3, 7)): 'left',\n",
    " ((3, 1), (3, 7)): 'stay',\n",
    " ((2, 7), (3, 7)): 'down',\n",
    " ((2, 1), (3, 7)): 'down',\n",
    " ((9, 7), (3, 7)): 'up',\n",
    " ((9, 1), (3, 7)): 'up',\n",
    " ((3, 8), (3, 8)): 'stay',\n",
    " ((3, 2), (3, 8)): 'left',\n",
    " ((2, 8), (3, 8)): 'left',\n",
    " ((9, 8), (3, 8)): 'up',\n",
    " ((9, 2), (3, 8)): 'stay',\n",
    " ((3, 9), (3, 9)): 'left',\n",
    " ((2, 9), (3, 9)): 'left',\n",
    " ((2, 3), (3, 9)): 'left',\n",
    " ((9, 3), (3, 9)): 'stay',\n",
    " ((3, 10), (3, 10)): 'left',\n",
    " ((3, 4), (3, 10)): 'left',\n",
    " ((2, 10), (3, 10)): 'left',\n",
    " ((2, 4), (3, 10)): 'left',\n",
    " ((9, 10), (3, 10)): 'up',\n",
    " ((9, 4), (3, 10)): 'up',\n",
    " ((3, 11), (3, 11)): 'left',\n",
    " ((3, 5), (3, 11)): 'left',\n",
    " ((2, 11), (3, 11)): 'left',\n",
    " ((2, 5), (3, 11)): 'left',\n",
    " ((9, 11), (3, 11)): 'up',\n",
    " ((9, 5), (3, 11)): 'up',\n",
    " ((4, 1), (4, 0)): 'left',\n",
    " ((4, 0), (4, 0)): 'left',\n",
    " ((4, 6), (4, 0)): 'left',\n",
    " ((3, 1), (4, 0)): 'stay',\n",
    " ((3, 0), (4, 0)): 'left',\n",
    " ((3, 6), (4, 0)): 'left',\n",
    " ((10, 1), (4, 0)): 'up',\n",
    " ((10, 0), (4, 0)): 'up',\n",
    " ((10, 6), (4, 0)): 'up',\n",
    " ((4, 2), (4, 1)): 'stay',\n",
    " ((4, 1), (4, 1)): 'left',\n",
    " ((4, 7), (4, 1)): 'left',\n",
    " ((3, 2), (4, 1)): 'left',\n",
    " ((3, 1), (4, 1)): 'stay',\n",
    " ((3, 7), (4, 1)): 'left',\n",
    " ((10, 2), (4, 1)): 'up',\n",
    " ((10, 1), (4, 1)): 'up',\n",
    " ((10, 7), (4, 1)): 'up',\n",
    " ((4, 3), (4, 2)): 'left',\n",
    " ((4, 2), (4, 2)): 'stay',\n",
    " ((4, 8), (4, 2)): 'left',\n",
    " ((3, 2), (4, 2)): 'left',\n",
    " ((3, 8), (4, 2)): 'stay',\n",
    " ((10, 3), (4, 2)): 'stay',\n",
    " ((10, 2), (4, 2)): 'up',\n",
    " ((10, 8), (4, 2)): 'up',\n",
    " ((4, 3), (4, 3)): 'left',\n",
    " ((4, 9), (4, 3)): 'stay',\n",
    " ((3, 4), (4, 3)): 'left',\n",
    " ((3, 9), (4, 3)): 'left',\n",
    " ((10, 4), (4, 3)): 'up',\n",
    " ((10, 3), (4, 3)): 'stay',\n",
    " ((10, 9), (4, 3)): 'up',\n",
    " ((4, 5), (4, 5)): 'left',\n",
    " ((3, 5), (4, 5)): 'left',\n",
    " ((10, 5), (4, 5)): 'up',\n",
    " ((4, 6), (4, 6)): 'left',\n",
    " ((4, 0), (4, 6)): 'left',\n",
    " ((3, 6), (4, 6)): 'left',\n",
    " ((3, 0), (4, 6)): 'left',\n",
    " ((10, 6), (4, 6)): 'up',\n",
    " ((10, 0), (4, 6)): 'up',\n",
    " ((4, 7), (4, 7)): 'left',\n",
    " ((4, 1), (4, 7)): 'left',\n",
    " ((3, 7), (4, 7)): 'left',\n",
    " ((3, 1), (4, 7)): 'stay',\n",
    " ((10, 7), (4, 7)): 'up',\n",
    " ((10, 1), (4, 7)): 'up',\n",
    " ((4, 8), (4, 8)): 'left',\n",
    " ((4, 2), (4, 8)): 'stay',\n",
    " ((3, 8), (4, 8)): 'stay',\n",
    " ((3, 2), (4, 8)): 'left',\n",
    " ((10, 8), (4, 8)): 'up',\n",
    " ((10, 2), (4, 8)): 'up',\n",
    " ((4, 9), (4, 9)): 'stay',\n",
    " ((4, 3), (4, 9)): 'left',\n",
    " ((3, 9), (4, 9)): 'left',\n",
    " ((10, 9), (4, 9)): 'up',\n",
    " ((10, 3), (4, 9)): 'stay',\n",
    " ((4, 10), (4, 10)): 'left',\n",
    " ((3, 10), (4, 10)): 'left',\n",
    " ((3, 4), (4, 10)): 'left',\n",
    " ((10, 4), (4, 10)): 'up',\n",
    " ((4, 11), (4, 11)): 'left',\n",
    " ((4, 5), (4, 11)): 'left',\n",
    " ((3, 11), (4, 11)): 'left',\n",
    " ((3, 5), (4, 11)): 'left',\n",
    " ((10, 11), (4, 11)): 'up',\n",
    " ((10, 5), (4, 11)): 'up',\n",
    " ((5, 1), (5, 0)): 'down',\n",
    " ((5, 0), (5, 0)): 'stay',\n",
    " ((5, 6), (5, 0)): 'left',\n",
    " ((4, 1), (5, 0)): 'left',\n",
    " ((4, 0), (5, 0)): 'left',\n",
    " ((4, 6), (5, 0)): 'left',\n",
    " ((11, 1), (5, 0)): 'stay',\n",
    " ((11, 0), (5, 0)): 'up',\n",
    " ((11, 6), (5, 0)): 'up',\n",
    " ((5, 2), (5, 1)): 'down',\n",
    " ((5, 1), (5, 1)): 'down',\n",
    " ((5, 7), (5, 1)): 'stay',\n",
    " ((4, 2), (5, 1)): 'stay',\n",
    " ((4, 1), (5, 1)): 'left',\n",
    " ((4, 7), (5, 1)): 'left',\n",
    " ((11, 2), (5, 1)): 'stay',\n",
    " ((11, 1), (5, 1)): 'stay',\n",
    " ((11, 7), (5, 1)): 'up',\n",
    " ((5, 3), (5, 2)): 'stay',\n",
    " ((5, 2), (5, 2)): 'down',\n",
    " ((5, 8), (5, 2)): 'down',\n",
    " ((4, 3), (5, 2)): 'left',\n",
    " ((4, 2), (5, 2)): 'stay',\n",
    " ((4, 8), (5, 2)): 'left',\n",
    " ((11, 3), (5, 2)): 'up',\n",
    " ((11, 2), (5, 2)): 'stay',\n",
    " ((11, 8), (5, 2)): 'up',\n",
    " ((5, 4), (5, 3)): 'left',\n",
    " ((5, 3), (5, 3)): 'stay',\n",
    " ((5, 9), (5, 3)): 'down',\n",
    " ((4, 3), (5, 3)): 'left',\n",
    " ((4, 9), (5, 3)): 'stay',\n",
    " ((11, 4), (5, 3)): 'up',\n",
    " ((11, 3), (5, 3)): 'up',\n",
    " ((11, 9), (5, 3)): 'stay',\n",
    " ((5, 4), (5, 4)): 'left',\n",
    " ((5, 10), (5, 4)): 'stay',\n",
    " ((4, 5), (5, 4)): 'left',\n",
    " ((4, 10), (5, 4)): 'left',\n",
    " ((11, 5), (5, 4)): 'up',\n",
    " ((11, 4), (5, 4)): 'up',\n",
    " ((11, 10), (5, 4)): 'up',\n",
    " ((5, 6), (5, 6)): 'left',\n",
    " ((5, 0), (5, 6)): 'stay',\n",
    " ((4, 6), (5, 6)): 'left',\n",
    " ((4, 0), (5, 6)): 'left',\n",
    " ((11, 6), (5, 6)): 'up',\n",
    " ((11, 0), (5, 6)): 'up',\n",
    " ((5, 7), (5, 7)): 'stay',\n",
    " ((5, 1), (5, 7)): 'down',\n",
    " ((4, 7), (5, 7)): 'left',\n",
    " ((4, 1), (5, 7)): 'left',\n",
    " ((11, 7), (5, 7)): 'up',\n",
    " ((11, 1), (5, 7)): 'stay',\n",
    " ((5, 8), (5, 8)): 'down',\n",
    " ((5, 2), (5, 8)): 'down',\n",
    " ((4, 8), (5, 8)): 'left',\n",
    " ((4, 2), (5, 8)): 'stay',\n",
    " ((11, 8), (5, 8)): 'up',\n",
    " ((11, 2), (5, 8)): 'stay',\n",
    " ((5, 9), (5, 9)): 'down',\n",
    " ((5, 3), (5, 9)): 'stay',\n",
    " ((4, 9), (5, 9)): 'stay',\n",
    " ((4, 3), (5, 9)): 'left',\n",
    " ((11, 9), (5, 9)): 'stay',\n",
    " ((11, 3), (5, 9)): 'up',\n",
    " ((5, 10), (5, 10)): 'stay',\n",
    " ((5, 4), (5, 10)): 'left',\n",
    " ((4, 10), (5, 10)): 'left',\n",
    " ((11, 10), (5, 10)): 'up',\n",
    " ((11, 4), (5, 10)): 'up',\n",
    " ((5, 11), (5, 11)): 'left',\n",
    " ((4, 11), (5, 11)): 'left',\n",
    " ((4, 5), (5, 11)): 'left',\n",
    " ((11, 5), (5, 11)): 'up',\n",
    " ((6, 1), (6, 0)): 'up',\n",
    " ((6, 0), (6, 0)): 'up',\n",
    " ((6, 2), (6, 1)): 'up',\n",
    " ((6, 1), (6, 1)): 'up',\n",
    " ((6, 7), (6, 1)): 'up',\n",
    " ((6, 3), (6, 2)): 'up',\n",
    " ((6, 2), (6, 2)): 'up',\n",
    " ((6, 8), (6, 2)): 'up',\n",
    " ((6, 4), (6, 3)): 'up',\n",
    " ((6, 3), (6, 3)): 'up',\n",
    " ((6, 9), (6, 3)): 'up',\n",
    " ((6, 5), (6, 4)): 'up',\n",
    " ((6, 4), (6, 4)): 'up',\n",
    " ((6, 10), (6, 4)): 'up',\n",
    " ((6, 5), (6, 5)): 'up',\n",
    " ((6, 7), (6, 7)): 'up',\n",
    " ((6, 1), (6, 7)): 'up',\n",
    " ((6, 8), (6, 8)): 'up',\n",
    " ((6, 2), (6, 8)): 'up',\n",
    " ((6, 9), (6, 9)): 'up',\n",
    " ((6, 3), (6, 9)): 'up',\n",
    " ((6, 10), (6, 10)): 'up',\n",
    " ((6, 4), (6, 10)): 'up',\n",
    " ((6, 11), (6, 11)): 'up',\n",
    " ((6, 5), (6, 11)): 'up',\n",
    " ((1, 0), (7, 0)): 'down',\n",
    " ((1, 6), (7, 0)): 'down',\n",
    " ((7, 1), (7, 0)): 'up',\n",
    " ((7, 0), (7, 0)): 'stay',\n",
    " ((7, 6), (7, 0)): 'stay',\n",
    " ((1, 2), (7, 1)): 'left',\n",
    " ((1, 7), (7, 1)): 'left',\n",
    " ((7, 2), (7, 1)): 'up',\n",
    " ((7, 1), (7, 1)): 'up',\n",
    " ((1, 3), (7, 2)): 'left',\n",
    " ((1, 2), (7, 2)): 'left',\n",
    " ((1, 8), (7, 2)): 'left',\n",
    " ((7, 3), (7, 2)): 'up',\n",
    " ((7, 2), (7, 2)): 'up',\n",
    " ((7, 8), (7, 2)): 'up',\n",
    " ((1, 4), (7, 3)): 'left',\n",
    " ((1, 3), (7, 3)): 'left',\n",
    " ((1, 9), (7, 3)): 'left',\n",
    " ((7, 4), (7, 3)): 'up',\n",
    " ((7, 3), (7, 3)): 'up',\n",
    " ((7, 9), (7, 3)): 'up',\n",
    " ((1, 5), (7, 4)): 'left',\n",
    " ((1, 4), (7, 4)): 'left',\n",
    " ((1, 10), (7, 4)): 'left',\n",
    " ((7, 5), (7, 4)): 'up',\n",
    " ((7, 4), (7, 4)): 'up',\n",
    " ((7, 10), (7, 4)): 'up',\n",
    " ((1, 5), (7, 5)): 'left',\n",
    " ((7, 5), (7, 5)): 'up',\n",
    " ((1, 6), (7, 6)): 'down',\n",
    " ((1, 0), (7, 6)): 'down',\n",
    " ((7, 6), (7, 6)): 'stay',\n",
    " ((7, 0), (7, 6)): 'stay',\n",
    " ((1, 8), (7, 8)): 'left',\n",
    " ((1, 2), (7, 8)): 'left',\n",
    " ((7, 8), (7, 8)): 'up',\n",
    " ((7, 2), (7, 8)): 'up',\n",
    " ((1, 9), (7, 9)): 'left',\n",
    " ((1, 3), (7, 9)): 'left',\n",
    " ((7, 9), (7, 9)): 'up',\n",
    " ((7, 3), (7, 9)): 'up',\n",
    " ((1, 10), (7, 10)): 'left',\n",
    " ((1, 4), (7, 10)): 'left',\n",
    " ((7, 10), (7, 10)): 'up',\n",
    " ((7, 4), (7, 10)): 'up',\n",
    " ((1, 11), (7, 11)): 'left',\n",
    " ((1, 5), (7, 11)): 'left',\n",
    " ((7, 11), (7, 11)): 'up',\n",
    " ((7, 5), (7, 11)): 'up',\n",
    " ((2, 1), (8, 0)): 'down',\n",
    " ((2, 0), (8, 0)): 'down',\n",
    " ((2, 6), (8, 0)): 'down',\n",
    " ((8, 1), (8, 0)): 'stay',\n",
    " ((8, 0), (8, 0)): 'stay',\n",
    " ((8, 6), (8, 0)): 'stay',\n",
    " ((2, 1), (8, 1)): 'down',\n",
    " ((2, 7), (8, 1)): 'down',\n",
    " ((8, 2), (8, 1)): 'up',\n",
    " ((8, 1), (8, 1)): 'stay',\n",
    " ((8, 7), (8, 1)): 'stay',\n",
    " ((2, 3), (8, 2)): 'left',\n",
    " ((2, 8), (8, 2)): 'left',\n",
    " ((8, 3), (8, 2)): 'up',\n",
    " ((8, 2), (8, 2)): 'up',\n",
    " ((2, 4), (8, 3)): 'left',\n",
    " ((2, 3), (8, 3)): 'left',\n",
    " ((2, 9), (8, 3)): 'left',\n",
    " ((8, 4), (8, 3)): 'up',\n",
    " ((8, 3), (8, 3)): 'up',\n",
    " ((8, 9), (8, 3)): 'up',\n",
    " ((2, 5), (8, 4)): 'left',\n",
    " ((2, 4), (8, 4)): 'left',\n",
    " ((2, 10), (8, 4)): 'left',\n",
    " ((8, 5), (8, 4)): 'up',\n",
    " ((8, 4), (8, 4)): 'up',\n",
    " ((8, 10), (8, 4)): 'up',\n",
    " ((2, 5), (8, 5)): 'left',\n",
    " ((8, 5), (8, 5)): 'up',\n",
    " ((2, 6), (8, 6)): 'down',\n",
    " ((2, 0), (8, 6)): 'down',\n",
    " ((8, 6), (8, 6)): 'stay',\n",
    " ((8, 0), (8, 6)): 'stay',\n",
    " ((2, 7), (8, 7)): 'down',\n",
    " ((2, 1), (8, 7)): 'down',\n",
    " ((8, 7), (8, 7)): 'stay',\n",
    " ((8, 1), (8, 7)): 'stay',\n",
    " ((2, 9), (8, 9)): 'left',\n",
    " ((2, 3), (8, 9)): 'left',\n",
    " ((8, 9), (8, 9)): 'up',\n",
    " ((8, 3), (8, 9)): 'up',\n",
    " ((2, 10), (8, 10)): 'left',\n",
    " ((2, 4), (8, 10)): 'left',\n",
    " ((8, 10), (8, 10)): 'up',\n",
    " ((8, 4), (8, 10)): 'up',\n",
    " ((2, 11), (8, 11)): 'left',\n",
    " ((2, 5), (8, 11)): 'left',\n",
    " ((8, 11), (8, 11)): 'up',\n",
    " ((8, 5), (8, 11)): 'up',\n",
    " ((3, 1), (9, 0)): 'stay',\n",
    " ((3, 0), (9, 0)): 'left',\n",
    " ((3, 6), (9, 0)): 'left',\n",
    " ((9, 1), (9, 0)): 'up',\n",
    " ((9, 0), (9, 0)): 'up',\n",
    " ((9, 6), (9, 0)): 'up',\n",
    " ((3, 2), (9, 1)): 'left',\n",
    " ((3, 1), (9, 1)): 'stay',\n",
    " ((3, 7), (9, 1)): 'left',\n",
    " ((9, 2), (9, 1)): 'stay',\n",
    " ((9, 1), (9, 1)): 'up',\n",
    " ((9, 7), (9, 1)): 'up',\n",
    " ((3, 2), (9, 2)): 'left',\n",
    " ((3, 8), (9, 2)): 'stay',\n",
    " ((9, 3), (9, 2)): 'stay',\n",
    " ((9, 2), (9, 2)): 'stay',\n",
    " ((9, 8), (9, 2)): 'up',\n",
    " ((3, 4), (9, 3)): 'left',\n",
    " ((3, 9), (9, 3)): 'left',\n",
    " ((9, 4), (9, 3)): 'up',\n",
    " ((9, 3), (9, 3)): 'stay',\n",
    " ((3, 5), (9, 4)): 'left',\n",
    " ((3, 4), (9, 4)): 'left',\n",
    " ((3, 10), (9, 4)): 'left',\n",
    " ((9, 5), (9, 4)): 'up',\n",
    " ((9, 4), (9, 4)): 'up',\n",
    " ((9, 10), (9, 4)): 'up',\n",
    " ((3, 5), (9, 5)): 'left',\n",
    " ((9, 5), (9, 5)): 'up',\n",
    " ((3, 6), (9, 6)): 'left',\n",
    " ((3, 0), (9, 6)): 'left',\n",
    " ((9, 6), (9, 6)): 'up',\n",
    " ((9, 0), (9, 6)): 'up',\n",
    " ((3, 7), (9, 7)): 'left',\n",
    " ((3, 1), (9, 7)): 'stay',\n",
    " ((9, 7), (9, 7)): 'up',\n",
    " ((9, 1), (9, 7)): 'up',\n",
    " ((3, 8), (9, 8)): 'stay',\n",
    " ((3, 2), (9, 8)): 'left',\n",
    " ((9, 8), (9, 8)): 'up',\n",
    " ((9, 2), (9, 8)): 'stay',\n",
    " ((3, 10), (9, 10)): 'left',\n",
    " ((3, 4), (9, 10)): 'left',\n",
    " ((9, 10), (9, 10)): 'up',\n",
    " ((9, 4), (9, 10)): 'up',\n",
    " ((3, 11), (9, 11)): 'left',\n",
    " ((3, 5), (9, 11)): 'left',\n",
    " ((9, 11), (9, 11)): 'up',\n",
    " ((9, 5), (9, 11)): 'up',\n",
    " ((4, 1), (10, 0)): 'left',\n",
    " ((4, 0), (10, 0)): 'left',\n",
    " ((4, 6), (10, 0)): 'left',\n",
    " ((10, 1), (10, 0)): 'up',\n",
    " ((10, 0), (10, 0)): 'up',\n",
    " ((10, 6), (10, 0)): 'up',\n",
    " ((4, 2), (10, 1)): 'stay',\n",
    " ((4, 1), (10, 1)): 'left',\n",
    " ((4, 7), (10, 1)): 'left',\n",
    " ((10, 2), (10, 1)): 'up',\n",
    " ((10, 1), (10, 1)): 'up',\n",
    " ((10, 7), (10, 1)): 'up',\n",
    " ((4, 3), (10, 2)): 'left',\n",
    " ((4, 2), (10, 2)): 'stay',\n",
    " ((4, 8), (10, 2)): 'left',\n",
    " ((10, 3), (10, 2)): 'stay',\n",
    " ((10, 2), (10, 2)): 'up',\n",
    " ((10, 8), (10, 2)): 'up',\n",
    " ((4, 3), (10, 3)): 'left',\n",
    " ((4, 9), (10, 3)): 'stay',\n",
    " ((10, 4), (10, 3)): 'up',\n",
    " ((10, 3), (10, 3)): 'stay',\n",
    " ((10, 9), (10, 3)): 'up',\n",
    " ((4, 5), (10, 4)): 'left',\n",
    " ((4, 10), (10, 4)): 'left',\n",
    " ((10, 5), (10, 4)): 'up',\n",
    " ((10, 4), (10, 4)): 'up',\n",
    " ((4, 5), (10, 5)): 'left',\n",
    " ((10, 5), (10, 5)): 'up',\n",
    " ((4, 6), (10, 6)): 'left',\n",
    " ((4, 0), (10, 6)): 'left',\n",
    " ((10, 6), (10, 6)): 'up',\n",
    " ((10, 0), (10, 6)): 'up',\n",
    " ((4, 7), (10, 7)): 'left',\n",
    " ((4, 1), (10, 7)): 'left',\n",
    " ((10, 7), (10, 7)): 'up',\n",
    " ((10, 1), (10, 7)): 'up',\n",
    " ((4, 8), (10, 8)): 'left',\n",
    " ((4, 2), (10, 8)): 'stay',\n",
    " ((10, 8), (10, 8)): 'up',\n",
    " ((10, 2), (10, 8)): 'up',\n",
    " ((4, 9), (10, 9)): 'stay',\n",
    " ((4, 3), (10, 9)): 'left',\n",
    " ((10, 9), (10, 9)): 'up',\n",
    " ((10, 3), (10, 9)): 'stay',\n",
    " ((4, 11), (10, 11)): 'left',\n",
    " ((4, 5), (10, 11)): 'left',\n",
    " ((10, 11), (10, 11)): 'up',\n",
    " ((10, 5), (10, 11)): 'up',\n",
    " ((5, 1), (11, 0)): 'down',\n",
    " ((5, 0), (11, 0)): 'stay',\n",
    " ((5, 6), (11, 0)): 'left',\n",
    " ((11, 1), (11, 0)): 'stay',\n",
    " ((11, 0), (11, 0)): 'up',\n",
    " ((11, 6), (11, 0)): 'up',\n",
    " ((5, 2), (11, 1)): 'down',\n",
    " ((5, 1), (11, 1)): 'down',\n",
    " ((5, 7), (11, 1)): 'stay',\n",
    " ((11, 2), (11, 1)): 'stay',\n",
    " ((11, 1), (11, 1)): 'stay',\n",
    " ((11, 7), (11, 1)): 'up',\n",
    " ((5, 3), (11, 2)): 'stay',\n",
    " ((5, 2), (11, 2)): 'down',\n",
    " ((5, 8), (11, 2)): 'down',\n",
    " ((11, 3), (11, 2)): 'up',\n",
    " ((11, 2), (11, 2)): 'stay',\n",
    " ((11, 8), (11, 2)): 'up',\n",
    " ((5, 4), (11, 3)): 'left',\n",
    " ((5, 3), (11, 3)): 'stay',\n",
    " ((5, 9), (11, 3)): 'down',\n",
    " ((11, 4), (11, 3)): 'up',\n",
    " ((11, 3), (11, 3)): 'up',\n",
    " ((11, 9), (11, 3)): 'stay',\n",
    " ((5, 4), (11, 4)): 'left',\n",
    " ((5, 10), (11, 4)): 'stay',\n",
    " ((11, 5), (11, 4)): 'up',\n",
    " ((11, 4), (11, 4)): 'up',\n",
    " ((11, 10), (11, 4)): 'up',\n",
    " ((11, 5), (11, 5)): 'up',\n",
    " ((5, 6), (11, 6)): 'left',\n",
    " ((5, 0), (11, 6)): 'stay',\n",
    " ((11, 6), (11, 6)): 'up',\n",
    " ((11, 0), (11, 6)): 'up',\n",
    " ((5, 7), (11, 7)): 'stay',\n",
    " ((5, 1), (11, 7)): 'down',\n",
    " ((11, 7), (11, 7)): 'up',\n",
    " ((11, 1), (11, 7)): 'stay',\n",
    " ((5, 8), (11, 8)): 'down',\n",
    " ((5, 2), (11, 8)): 'down',\n",
    " ((11, 8), (11, 8)): 'up',\n",
    " ((11, 2), (11, 8)): 'stay',\n",
    " ((5, 9), (11, 9)): 'down',\n",
    " ((5, 3), (11, 9)): 'stay',\n",
    " ((11, 9), (11, 9)): 'stay',\n",
    " ((11, 3), (11, 9)): 'up',\n",
    " ((5, 10), (11, 10)): 'stay',\n",
    " ((5, 4), (11, 10)): 'left',\n",
    " ((11, 10), (11, 10)): 'up',\n",
    " ((11, 4), (11, 10)): 'up',\n",
    " ((5, 0), (-10, -10)): 'stay'}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Social agent (beta = 0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Define rewards for all states\n",
    "rewards = {}\n",
    "for s in all_states:\n",
    "    rewards[s] = social_beta_reward(s, 0.5) # social\n",
    "\n",
    "#Define initial value function \n",
    "V={}\n",
    "for s in all_states:\n",
    "    V[s] = social_beta_reward(s, 0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "100 ) \n",
      "200 ) \n",
      "300 ) \n",
      "400 ) \n",
      "500 ) \n",
      "600 ) \n",
      "700 ) \n",
      "800 ) \n",
      "900 ) \n",
      "1000 ) \n",
      "1100 ) \n",
      "1200 ) \n",
      "1300 ) \n",
      "1400 ) \n",
      "1500 ) \n",
      "1600 ) \n",
      "1700 ) \n",
      "converge after: 1700 iterations\n"
     ]
    }
   ],
   "source": [
    "value_iteration()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'a2 a1,a2 a1': 'down',\n",
       " 'a2 b1,a2 a1': 'left',\n",
       " 'b2 a2,a2 a1': 'up',\n",
       " 'b2 a1,a2 a1': 'stay',\n",
       " 'b2 b1,a2 a1': 'stay',\n",
       " 'a2 a4,a2 a3': 'left',\n",
       " 'a2 a3,a2 a3': 'left',\n",
       " 'a2 b3,a2 a3': 'left',\n",
       " 'b2 a4,a2 a3': 'up',\n",
       " 'b2 a3,a2 a3': 'up',\n",
       " 'b2 b3,a2 a3': 'up',\n",
       " 'a2 a5,a2 a4': 'stay',\n",
       " 'a2 a4,a2 a4': 'left',\n",
       " 'a2 b4,a2 a4': 'left',\n",
       " 'b2 a5,a2 a4': 'up',\n",
       " 'b2 a4,a2 a4': 'up',\n",
       " 'b2 b4,a2 a4': 'up',\n",
       " 'a2 a6,a2 a5': 'left',\n",
       " 'a2 a5,a2 a5': 'stay',\n",
       " 'a2 b5,a2 a5': 'left',\n",
       " 'b2 a6,a2 a5': 'up',\n",
       " 'b2 a5,a2 a5': 'up',\n",
       " 'b2 b5,a2 a5': 'up',\n",
       " 'a2 a6,a2 a6': 'left',\n",
       " 'b2 a6,a2 a6': 'up',\n",
       " 'a2 b1,a2 b1': 'down',\n",
       " 'a2 a1,a2 b1': 'down',\n",
       " 'b2 b1,a2 b1': 'stay',\n",
       " 'b2 a1,a2 b1': 'stay',\n",
       " 'a2 b2,a2 b2': 'left',\n",
       " 'b2 a2,a2 b2': 'up',\n",
       " 'a2 b3,a2 b3': 'left',\n",
       " 'a2 a3,a2 b3': 'left',\n",
       " 'b2 b3,a2 b3': 'up',\n",
       " 'b2 a3,a2 b3': 'up',\n",
       " 'a2 b4,a2 b4': 'left',\n",
       " 'a2 a4,a2 b4': 'left',\n",
       " 'b2 b4,a2 b4': 'up',\n",
       " 'b2 a4,a2 b4': 'up',\n",
       " 'a2 b5,a2 b5': 'left',\n",
       " 'a2 a5,a2 b5': 'stay',\n",
       " 'b2 b5,a2 b5': 'up',\n",
       " 'b2 a5,a2 b5': 'up',\n",
       " 'a2 b6,a2 b6': 'left',\n",
       " 'a2 a6,a2 b6': 'left',\n",
       " 'b2 b6,a2 b6': 'up',\n",
       " 'b2 a6,a2 b6': 'up',\n",
       " 'a3 a2,a3 a1': 'down',\n",
       " 'a3 a1,a3 a1': 'down',\n",
       " 'a3 b1,a3 a1': 'left',\n",
       " 'a2 a1,a3 a1': 'down',\n",
       " 'a2 b1,a3 a1': 'down',\n",
       " 'b3 a2,a3 a1': 'stay',\n",
       " 'b3 a1,a3 a1': 'stay',\n",
       " 'b3 b1,a3 a1': 'up',\n",
       " 'a3 a2,a3 a2': 'down',\n",
       " 'a3 b2,a3 a2': 'stay',\n",
       " 'a2 a3,a3 a2': 'left',\n",
       " 'a2 b2,a3 a2': 'left',\n",
       " 'b3 a3,a3 a2': 'up',\n",
       " 'b3 a2,a3 a2': 'stay',\n",
       " 'b3 b2,a3 a2': 'stay',\n",
       " 'a3 a5,a3 a4': 'left',\n",
       " 'a3 a4,a3 a4': 'left',\n",
       " 'a3 b4,a3 a4': 'left',\n",
       " 'a2 a5,a3 a4': 'stay',\n",
       " 'a2 a4,a3 a4': 'left',\n",
       " 'a2 b4,a3 a4': 'left',\n",
       " 'b3 a5,a3 a4': 'up',\n",
       " 'b3 a4,a3 a4': 'up',\n",
       " 'b3 b4,a3 a4': 'up',\n",
       " 'a3 a6,a3 a5': 'left',\n",
       " 'a3 a5,a3 a5': 'left',\n",
       " 'a3 b5,a3 a5': 'left',\n",
       " 'a2 a6,a3 a5': 'left',\n",
       " 'a2 a5,a3 a5': 'stay',\n",
       " 'a2 b5,a3 a5': 'left',\n",
       " 'b3 a6,a3 a5': 'up',\n",
       " 'b3 a5,a3 a5': 'up',\n",
       " 'b3 b5,a3 a5': 'up',\n",
       " 'a3 a6,a3 a6': 'left',\n",
       " 'a2 a6,a3 a6': 'left',\n",
       " 'b3 a6,a3 a6': 'up',\n",
       " 'a3 b1,a3 b1': 'down',\n",
       " 'a3 a1,a3 b1': 'stay',\n",
       " 'a2 b1,a3 b1': 'left',\n",
       " 'a2 a1,a3 b1': 'down',\n",
       " 'b3 b1,a3 b1': 'up',\n",
       " 'b3 a1,a3 b1': 'stay',\n",
       " 'a3 b2,a3 b2': 'stay',\n",
       " 'a3 a2,a3 b2': 'down',\n",
       " 'a2 b2,a3 b2': 'left',\n",
       " 'b3 b2,a3 b2': 'stay',\n",
       " 'b3 a2,a3 b2': 'stay',\n",
       " 'a3 b3,a3 b3': 'left',\n",
       " 'a2 b3,a3 b3': 'left',\n",
       " 'a2 a3,a3 b3': 'left',\n",
       " 'b3 a3,a3 b3': 'up',\n",
       " 'a3 b4,a3 b4': 'left',\n",
       " 'a3 a4,a3 b4': 'left',\n",
       " 'a2 b4,a3 b4': 'left',\n",
       " 'a2 a4,a3 b4': 'left',\n",
       " 'b3 b4,a3 b4': 'up',\n",
       " 'b3 a4,a3 b4': 'up',\n",
       " 'a3 b5,a3 b5': 'left',\n",
       " 'a3 a5,a3 b5': 'left',\n",
       " 'a2 b5,a3 b5': 'left',\n",
       " 'a2 a5,a3 b5': 'stay',\n",
       " 'b3 b5,a3 b5': 'up',\n",
       " 'b3 a5,a3 b5': 'up',\n",
       " 'a3 b6,a3 b6': 'left',\n",
       " 'a3 a6,a3 b6': 'left',\n",
       " 'a2 b6,a3 b6': 'left',\n",
       " 'a2 a6,a3 b6': 'left',\n",
       " 'b3 b6,a3 b6': 'up',\n",
       " 'b3 a6,a3 b6': 'up',\n",
       " 'a4 a2,a4 a1': 'stay',\n",
       " 'a4 a1,a4 a1': 'left',\n",
       " 'a4 b1,a4 a1': 'left',\n",
       " 'a3 a2,a4 a1': 'left',\n",
       " 'a3 a1,a4 a1': 'down',\n",
       " 'a3 b1,a4 a1': 'left',\n",
       " 'b4 a2,a4 a1': 'up',\n",
       " 'b4 a1,a4 a1': 'up',\n",
       " 'b4 b1,a4 a1': 'up',\n",
       " 'a4 a3,a4 a2': 'down',\n",
       " 'a4 a2,a4 a2': 'stay',\n",
       " 'a4 b2,a4 a2': 'left',\n",
       " 'a3 a2,a4 a2': 'down',\n",
       " 'a3 b2,a4 a2': 'stay',\n",
       " 'b4 a3,a4 a2': 'stay',\n",
       " 'b4 a2,a4 a2': 'up',\n",
       " 'b4 b2,a4 a2': 'up',\n",
       " 'a4 a3,a4 a3': 'down',\n",
       " 'a4 b3,a4 a3': 'down',\n",
       " 'a3 a4,a4 a3': 'left',\n",
       " 'a3 b3,a4 a3': 'left',\n",
       " 'b4 a4,a4 a3': 'up',\n",
       " 'b4 a3,a4 a3': 'stay',\n",
       " 'b4 b3,a4 a3': 'stay',\n",
       " 'a4 a6,a4 a5': 'left',\n",
       " 'a4 a5,a4 a5': 'left',\n",
       " 'a4 b5,a4 a5': 'left',\n",
       " 'a3 a6,a4 a5': 'left',\n",
       " 'a3 a5,a4 a5': 'left',\n",
       " 'a3 b5,a4 a5': 'left',\n",
       " 'b4 a6,a4 a5': 'up',\n",
       " 'b4 a5,a4 a5': 'up',\n",
       " 'b4 b5,a4 a5': 'up',\n",
       " 'a4 a6,a4 a6': 'left',\n",
       " 'a3 a6,a4 a6': 'left',\n",
       " 'b4 a6,a4 a6': 'up',\n",
       " 'a4 b1,a4 b1': 'left',\n",
       " 'a4 a1,a4 b1': 'left',\n",
       " 'a3 b1,a4 b1': 'left',\n",
       " 'a3 a1,a4 b1': 'stay',\n",
       " 'b4 b1,a4 b1': 'up',\n",
       " 'b4 a1,a4 b1': 'up',\n",
       " 'a4 b2,a4 b2': 'left',\n",
       " 'a4 a2,a4 b2': 'stay',\n",
       " 'a3 b2,a4 b2': 'stay',\n",
       " 'a3 a2,a4 b2': 'down',\n",
       " 'b4 b2,a4 b2': 'up',\n",
       " 'b4 a2,a4 b2': 'up',\n",
       " 'a4 b3,a4 b3': 'down',\n",
       " 'a4 a3,a4 b3': 'down',\n",
       " 'a3 b3,a4 b3': 'left',\n",
       " 'b4 b3,a4 b3': 'stay',\n",
       " 'b4 a3,a4 b3': 'stay',\n",
       " 'a4 b4,a4 b4': 'left',\n",
       " 'a3 b4,a4 b4': 'left',\n",
       " 'a3 a4,a4 b4': 'left',\n",
       " 'b4 a4,a4 b4': 'up',\n",
       " 'a4 b5,a4 b5': 'left',\n",
       " 'a4 a5,a4 b5': 'left',\n",
       " 'a3 b5,a4 b5': 'left',\n",
       " 'a3 a5,a4 b5': 'left',\n",
       " 'b4 b5,a4 b5': 'up',\n",
       " 'b4 a5,a4 b5': 'up',\n",
       " 'a4 b6,a4 b6': 'left',\n",
       " 'a4 a6,a4 b6': 'left',\n",
       " 'a3 b6,a4 b6': 'left',\n",
       " 'a3 a6,a4 b6': 'left',\n",
       " 'b4 b6,a4 b6': 'up',\n",
       " 'b4 a6,a4 b6': 'up',\n",
       " 'a5 a2,a5 a1': 'left',\n",
       " 'a5 a1,a5 a1': 'left',\n",
       " 'a5 b1,a5 a1': 'left',\n",
       " 'a4 a2,a5 a1': 'stay',\n",
       " 'a4 a1,a5 a1': 'left',\n",
       " 'a4 b1,a5 a1': 'left',\n",
       " 'b5 a2,a5 a1': 'up',\n",
       " 'b5 a1,a5 a1': 'up',\n",
       " 'b5 b1,a5 a1': 'up',\n",
       " 'a5 a3,a5 a2': 'down',\n",
       " 'a5 a2,a5 a2': 'left',\n",
       " 'a5 b2,a5 a2': 'left',\n",
       " 'a4 a3,a5 a2': 'left',\n",
       " 'a4 a2,a5 a2': 'stay',\n",
       " 'a4 b2,a5 a2': 'left',\n",
       " 'b5 a3,a5 a2': 'stay',\n",
       " 'b5 a2,a5 a2': 'up',\n",
       " 'b5 b2,a5 a2': 'up',\n",
       " 'a5 a4,a5 a3': 'down',\n",
       " 'a5 a3,a5 a3': 'down',\n",
       " 'a5 b3,a5 a3': 'left',\n",
       " 'a4 a3,a5 a3': 'down',\n",
       " 'a4 b3,a5 a3': 'down',\n",
       " 'b5 a4,a5 a3': 'stay',\n",
       " 'b5 a3,a5 a3': 'up',\n",
       " 'b5 b3,a5 a3': 'up',\n",
       " 'a5 a4,a5 a4': 'down',\n",
       " 'a5 b4,a5 a4': 'down',\n",
       " 'a4 a5,a5 a4': 'left',\n",
       " 'a4 b4,a5 a4': 'left',\n",
       " 'b5 a5,a5 a4': 'up',\n",
       " 'b5 a4,a5 a4': 'stay',\n",
       " 'b5 b4,a5 a4': 'stay',\n",
       " 'a5 a6,a5 a6': 'left',\n",
       " 'a4 a6,a5 a6': 'left',\n",
       " 'b5 a6,a5 a6': 'up',\n",
       " 'a5 b1,a5 b1': 'left',\n",
       " 'a5 a1,a5 b1': 'stay',\n",
       " 'a4 b1,a5 b1': 'left',\n",
       " 'a4 a1,a5 b1': 'left',\n",
       " 'b5 b1,a5 b1': 'up',\n",
       " 'b5 a1,a5 b1': 'up',\n",
       " 'a5 b2,a5 b2': 'left',\n",
       " 'a5 a2,a5 b2': 'left',\n",
       " 'a4 b2,a5 b2': 'left',\n",
       " 'a4 a2,a5 b2': 'stay',\n",
       " 'b5 b2,a5 b2': 'up',\n",
       " 'b5 a2,a5 b2': 'up',\n",
       " 'a5 b3,a5 b3': 'left',\n",
       " 'a5 a3,a5 b3': 'down',\n",
       " 'a4 b3,a5 b3': 'down',\n",
       " 'a4 a3,a5 b3': 'down',\n",
       " 'b5 b3,a5 b3': 'up',\n",
       " 'b5 a3,a5 b3': 'stay',\n",
       " 'a5 b4,a5 b4': 'down',\n",
       " 'a5 a4,a5 b4': 'down',\n",
       " 'a4 b4,a5 b4': 'left',\n",
       " 'b5 b4,a5 b4': 'stay',\n",
       " 'b5 a4,a5 b4': 'stay',\n",
       " 'a5 b5,a5 b5': 'left',\n",
       " 'a4 b5,a5 b5': 'left',\n",
       " 'a4 a5,a5 b5': 'left',\n",
       " 'b5 a5,a5 b5': 'up',\n",
       " 'a5 b6,a5 b6': 'left',\n",
       " 'a5 a6,a5 b6': 'left',\n",
       " 'a4 b6,a5 b6': 'left',\n",
       " 'a4 a6,a5 b6': 'left',\n",
       " 'b5 b6,a5 b6': 'up',\n",
       " 'b5 a6,a5 b6': 'up',\n",
       " 'a6 a2,a6 a1': 'left',\n",
       " 'a6 a1,a6 a1': 'left',\n",
       " 'a6 b1,a6 a1': 'left',\n",
       " 'a5 a2,a6 a1': 'left',\n",
       " 'a5 a1,a6 a1': 'left',\n",
       " 'a5 b1,a6 a1': 'left',\n",
       " 'b6 a2,a6 a1': 'up',\n",
       " 'b6 a1,a6 a1': 'up',\n",
       " 'b6 b1,a6 a1': 'up',\n",
       " 'a6 a3,a6 a2': 'left',\n",
       " 'a6 a2,a6 a2': 'left',\n",
       " 'a6 b2,a6 a2': 'left',\n",
       " 'a5 a3,a6 a2': 'down',\n",
       " 'a5 a2,a6 a2': 'left',\n",
       " 'a5 b2,a6 a2': 'left',\n",
       " 'b6 a3,a6 a2': 'up',\n",
       " 'b6 a2,a6 a2': 'up',\n",
       " 'b6 b2,a6 a2': 'up',\n",
       " 'a6 a4,a6 a3': 'stay',\n",
       " 'a6 a3,a6 a3': 'left',\n",
       " 'a6 b3,a6 a3': 'left',\n",
       " 'a5 a4,a6 a3': 'down',\n",
       " 'a5 a3,a6 a3': 'down',\n",
       " 'a5 b3,a6 a3': 'left',\n",
       " 'b6 a4,a6 a3': 'up',\n",
       " 'b6 a3,a6 a3': 'up',\n",
       " 'b6 b3,a6 a3': 'up',\n",
       " 'a6 a5,a6 a4': 'left',\n",
       " 'a6 a4,a6 a4': 'stay',\n",
       " 'a6 b4,a6 a4': 'left',\n",
       " 'a5 a4,a6 a4': 'down',\n",
       " 'a5 b4,a6 a4': 'down',\n",
       " 'b6 a5,a6 a4': 'up',\n",
       " 'b6 a4,a6 a4': 'up',\n",
       " 'b6 b4,a6 a4': 'up',\n",
       " 'a6 a5,a6 a5': 'left',\n",
       " 'a6 b5,a6 a5': 'stay',\n",
       " 'a5 a6,a6 a5': 'left',\n",
       " 'a5 b5,a6 a5': 'left',\n",
       " 'b6 a6,a6 a5': 'stay',\n",
       " 'b6 a5,a6 a5': 'up',\n",
       " 'b6 b5,a6 a5': 'up',\n",
       " 'a6 b1,a6 b1': 'left',\n",
       " 'a6 a1,a6 b1': 'left',\n",
       " 'a5 b1,a6 b1': 'left',\n",
       " 'a5 a1,a6 b1': 'stay',\n",
       " 'b6 b1,a6 b1': 'up',\n",
       " 'b6 a1,a6 b1': 'up',\n",
       " 'a6 b2,a6 b2': 'left',\n",
       " 'a6 a2,a6 b2': 'left',\n",
       " 'a5 b2,a6 b2': 'left',\n",
       " 'a5 a2,a6 b2': 'left',\n",
       " 'b6 b2,a6 b2': 'up',\n",
       " 'b6 a2,a6 b2': 'up',\n",
       " 'a6 b3,a6 b3': 'left',\n",
       " 'a6 a3,a6 b3': 'left',\n",
       " 'a5 b3,a6 b3': 'left',\n",
       " 'a5 a3,a6 b3': 'down',\n",
       " 'b6 b3,a6 b3': 'up',\n",
       " 'b6 a3,a6 b3': 'up',\n",
       " 'a6 b4,a6 b4': 'left',\n",
       " 'a6 a4,a6 b4': 'stay',\n",
       " 'a5 b4,a6 b4': 'down',\n",
       " 'a5 a4,a6 b4': 'down',\n",
       " 'b6 b4,a6 b4': 'up',\n",
       " 'b6 a4,a6 b4': 'up',\n",
       " 'a6 b5,a6 b5': 'stay',\n",
       " 'a6 a5,a6 b5': 'left',\n",
       " 'a5 b5,a6 b5': 'left',\n",
       " 'b6 b5,a6 b5': 'up',\n",
       " 'b6 a5,a6 b5': 'up',\n",
       " 'a6 b6,a6 b6': 'left',\n",
       " 'a5 b6,a6 b6': 'left',\n",
       " 'a5 a6,a6 b6': 'left',\n",
       " 'b6 a6,a6 b6': 'stay',\n",
       " 'b1 a2,b1 a1': 'up',\n",
       " 'b1 a1,b1 a1': 'up',\n",
       " 'b1 a3,b1 a2': 'up',\n",
       " 'b1 a2,b1 a2': 'up',\n",
       " 'b1 b2,b1 a2': 'up',\n",
       " 'b1 a4,b1 a3': 'up',\n",
       " 'b1 a3,b1 a3': 'up',\n",
       " 'b1 b3,b1 a3': 'up',\n",
       " 'b1 a5,b1 a4': 'stay',\n",
       " 'b1 a4,b1 a4': 'up',\n",
       " 'b1 b4,b1 a4': 'up',\n",
       " 'b1 a6,b1 a5': 'up',\n",
       " 'b1 a5,b1 a5': 'stay',\n",
       " 'b1 b5,b1 a5': 'up',\n",
       " 'b1 a6,b1 a6': 'up',\n",
       " 'b1 b2,b1 b2': 'up',\n",
       " 'b1 a2,b1 b2': 'up',\n",
       " 'b1 b3,b1 b3': 'up',\n",
       " 'b1 a3,b1 b3': 'up',\n",
       " 'b1 b4,b1 b4': 'up',\n",
       " 'b1 a4,b1 b4': 'up',\n",
       " 'b1 b5,b1 b5': 'up',\n",
       " 'b1 a5,b1 b5': 'stay',\n",
       " 'b1 b6,b1 b6': 'up',\n",
       " 'b1 a6,b1 b6': 'up',\n",
       " 'a2 a1,b2 a1': 'down',\n",
       " 'a2 b1,b2 a1': 'down',\n",
       " 'b2 a2,b2 a1': 'up',\n",
       " 'b2 a1,b2 a1': 'stay',\n",
       " 'b2 b1,b2 a1': 'stay',\n",
       " 'a2 a3,b2 a2': 'left',\n",
       " 'a2 b2,b2 a2': 'left',\n",
       " 'b2 a3,b2 a2': 'up',\n",
       " 'b2 a2,b2 a2': 'up',\n",
       " 'a2 a4,b2 a3': 'left',\n",
       " 'a2 a3,b2 a3': 'left',\n",
       " 'a2 b3,b2 a3': 'left',\n",
       " 'b2 a4,b2 a3': 'up',\n",
       " 'b2 a3,b2 a3': 'up',\n",
       " 'b2 b3,b2 a3': 'up',\n",
       " 'a2 a5,b2 a4': 'stay',\n",
       " 'a2 a4,b2 a4': 'left',\n",
       " 'a2 b4,b2 a4': 'left',\n",
       " 'b2 a5,b2 a4': 'up',\n",
       " 'b2 a4,b2 a4': 'up',\n",
       " 'b2 b4,b2 a4': 'up',\n",
       " 'a2 a6,b2 a5': 'left',\n",
       " 'a2 a5,b2 a5': 'stay',\n",
       " 'a2 b5,b2 a5': 'left',\n",
       " 'b2 a6,b2 a5': 'up',\n",
       " 'b2 a5,b2 a5': 'up',\n",
       " 'b2 b5,b2 a5': 'up',\n",
       " 'a2 a6,b2 a6': 'left',\n",
       " 'b2 a6,b2 a6': 'up',\n",
       " 'a2 b1,b2 b1': 'down',\n",
       " 'a2 a1,b2 b1': 'down',\n",
       " 'b2 b1,b2 b1': 'up',\n",
       " 'b2 a1,b2 b1': 'stay',\n",
       " 'a2 b3,b2 b3': 'left',\n",
       " 'a2 a3,b2 b3': 'left',\n",
       " 'b2 b3,b2 b3': 'up',\n",
       " 'b2 a3,b2 b3': 'up',\n",
       " 'a2 b4,b2 b4': 'left',\n",
       " 'a2 a4,b2 b4': 'left',\n",
       " 'b2 b4,b2 b4': 'up',\n",
       " 'b2 a4,b2 b4': 'up',\n",
       " 'a2 b5,b2 b5': 'left',\n",
       " 'a2 a5,b2 b5': 'stay',\n",
       " 'b2 b5,b2 b5': 'up',\n",
       " 'b2 a5,b2 b5': 'up',\n",
       " 'a2 b6,b2 b6': 'left',\n",
       " 'a2 a6,b2 b6': 'left',\n",
       " 'b2 b6,b2 b6': 'up',\n",
       " 'b2 a6,b2 b6': 'up',\n",
       " 'a3 a2,b3 a1': 'down',\n",
       " 'a3 a1,b3 a1': 'down',\n",
       " 'a3 b1,b3 a1': 'down',\n",
       " 'b3 a2,b3 a1': 'stay',\n",
       " 'b3 a1,b3 a1': 'up',\n",
       " 'b3 b1,b3 a1': 'up',\n",
       " 'a3 a2,b3 a2': 'down',\n",
       " 'a3 b2,b3 a2': 'stay',\n",
       " 'b3 a3,b3 a2': 'up',\n",
       " 'b3 a2,b3 a2': 'stay',\n",
       " 'b3 b2,b3 a2': 'stay',\n",
       " 'a3 a4,b3 a3': 'left',\n",
       " 'a3 b3,b3 a3': 'left',\n",
       " 'b3 a4,b3 a3': 'stay',\n",
       " 'b3 a3,b3 a3': 'up',\n",
       " 'a3 a5,b3 a4': 'left',\n",
       " 'a3 a4,b3 a4': 'left',\n",
       " 'a3 b4,b3 a4': 'left',\n",
       " 'b3 a5,b3 a4': 'up',\n",
       " 'b3 a4,b3 a4': 'up',\n",
       " 'b3 b4,b3 a4': 'up',\n",
       " 'a3 a6,b3 a5': 'left',\n",
       " 'a3 a5,b3 a5': 'left',\n",
       " 'a3 b5,b3 a5': 'left',\n",
       " 'b3 a6,b3 a5': 'up',\n",
       " 'b3 a5,b3 a5': 'up',\n",
       " 'b3 b5,b3 a5': 'up',\n",
       " 'a3 a6,b3 a6': 'left',\n",
       " 'b3 a6,b3 a6': 'up',\n",
       " 'a3 b1,b3 b1': 'down',\n",
       " 'a3 a1,b3 b1': 'stay',\n",
       " 'b3 b1,b3 b1': 'up',\n",
       " 'b3 a1,b3 b1': 'stay',\n",
       " 'a3 b2,b3 b2': 'stay',\n",
       " 'a3 a2,b3 b2': 'down',\n",
       " 'b3 b2,b3 b2': 'up',\n",
       " 'b3 a2,b3 b2': 'stay',\n",
       " 'a3 b4,b3 b4': 'left',\n",
       " 'a3 a4,b3 b4': 'left',\n",
       " 'b3 b4,b3 b4': 'up',\n",
       " 'b3 a4,b3 b4': 'up',\n",
       " 'a3 b5,b3 b5': 'left',\n",
       " 'a3 a5,b3 b5': 'left',\n",
       " 'b3 b5,b3 b5': 'up',\n",
       " 'b3 a5,b3 b5': 'up',\n",
       " 'a3 b6,b3 b6': 'left',\n",
       " 'a3 a6,b3 b6': 'left',\n",
       " 'b3 b6,b3 b6': 'up',\n",
       " 'b3 a6,b3 b6': 'up',\n",
       " 'a4 a2,b4 a1': 'stay',\n",
       " 'a4 a1,b4 a1': 'left',\n",
       " 'a4 b1,b4 a1': 'left',\n",
       " 'b4 a2,b4 a1': 'up',\n",
       " 'b4 a1,b4 a1': 'up',\n",
       " 'b4 b1,b4 a1': 'up',\n",
       " 'a4 a3,b4 a2': 'down',\n",
       " 'a4 a2,b4 a2': 'stay',\n",
       " 'a4 b2,b4 a2': 'left',\n",
       " 'b4 a3,b4 a2': 'stay',\n",
       " 'b4 a2,b4 a2': 'up',\n",
       " 'b4 b2,b4 a2': 'up',\n",
       " 'a4 a3,b4 a3': 'down',\n",
       " 'a4 b3,b4 a3': 'down',\n",
       " 'b4 a4,b4 a3': 'up',\n",
       " 'b4 a3,b4 a3': 'stay',\n",
       " 'b4 b3,b4 a3': 'stay',\n",
       " 'a4 a5,b4 a4': 'left',\n",
       " 'a4 b4,b4 a4': 'left',\n",
       " 'b4 a5,b4 a4': 'up',\n",
       " 'b4 a4,b4 a4': 'stay',\n",
       " 'a4 a6,b4 a5': 'left',\n",
       " 'a4 a5,b4 a5': 'left',\n",
       " 'a4 b5,b4 a5': 'left',\n",
       " 'b4 a6,b4 a5': 'up',\n",
       " 'b4 a5,b4 a5': 'up',\n",
       " 'b4 b5,b4 a5': 'up',\n",
       " 'a4 a6,b4 a6': 'left',\n",
       " 'b4 a6,b4 a6': 'up',\n",
       " 'a4 b1,b4 b1': 'left',\n",
       " 'a4 a1,b4 b1': 'left',\n",
       " 'b4 b1,b4 b1': 'up',\n",
       " 'b4 a1,b4 b1': 'up',\n",
       " 'a4 b2,b4 b2': 'left',\n",
       " 'a4 a2,b4 b2': 'stay',\n",
       " 'b4 b2,b4 b2': 'up',\n",
       " 'b4 a2,b4 b2': 'up',\n",
       " 'a4 b3,b4 b3': 'down',\n",
       " 'a4 a3,b4 b3': 'down',\n",
       " 'b4 b3,b4 b3': 'stay',\n",
       " 'b4 a3,b4 b3': 'stay',\n",
       " 'a4 b5,b4 b5': 'left',\n",
       " 'a4 a5,b4 b5': 'left',\n",
       " 'b4 b5,b4 b5': 'up',\n",
       " 'b4 a5,b4 b5': 'up',\n",
       " 'a4 b6,b4 b6': 'left',\n",
       " 'a4 a6,b4 b6': 'left',\n",
       " 'b4 b6,b4 b6': 'up',\n",
       " 'b4 a6,b4 b6': 'up',\n",
       " 'a5 a2,b5 a1': 'left',\n",
       " 'a5 a1,b5 a1': 'left',\n",
       " 'a5 b1,b5 a1': 'left',\n",
       " 'b5 a2,b5 a1': 'up',\n",
       " 'b5 a1,b5 a1': 'up',\n",
       " 'b5 b1,b5 a1': 'up',\n",
       " 'a5 a3,b5 a2': 'stay',\n",
       " 'a5 a2,b5 a2': 'left',\n",
       " 'a5 b2,b5 a2': 'left',\n",
       " 'b5 a3,b5 a2': 'up',\n",
       " 'b5 a2,b5 a2': 'up',\n",
       " 'b5 b2,b5 a2': 'up',\n",
       " 'a5 a4,b5 a3': 'down',\n",
       " 'a5 a3,b5 a3': 'stay',\n",
       " 'a5 b3,b5 a3': 'left',\n",
       " 'b5 a4,b5 a3': 'stay',\n",
       " 'b5 a3,b5 a3': 'up',\n",
       " 'b5 b3,b5 a3': 'up',\n",
       " 'a5 a4,b5 a4': 'down',\n",
       " 'a5 b4,b5 a4': 'down',\n",
       " 'b5 a5,b5 a4': 'up',\n",
       " 'b5 a4,b5 a4': 'stay',\n",
       " 'b5 b4,b5 a4': 'stay',\n",
       " 'a5 a6,b5 a5': 'left',\n",
       " 'a5 b5,b5 a5': 'left',\n",
       " 'b5 a6,b5 a5': 'up',\n",
       " 'b5 a5,b5 a5': 'up',\n",
       " 'a5 a6,b5 a6': 'left',\n",
       " 'b5 a6,b5 a6': 'up',\n",
       " 'a5 b1,b5 b1': 'left',\n",
       " 'a5 a1,b5 b1': 'stay',\n",
       " 'b5 b1,b5 b1': 'up',\n",
       " 'b5 a1,b5 b1': 'up',\n",
       " 'a5 b2,b5 b2': 'left',\n",
       " 'a5 a2,b5 b2': 'left',\n",
       " 'b5 b2,b5 b2': 'up',\n",
       " 'b5 a2,b5 b2': 'up',\n",
       " 'a5 b3,b5 b3': 'left',\n",
       " 'a5 a3,b5 b3': 'down',\n",
       " 'b5 b3,b5 b3': 'up',\n",
       " 'b5 a3,b5 b3': 'stay',\n",
       " 'a5 b4,b5 b4': 'down',\n",
       " 'a5 a4,b5 b4': 'down',\n",
       " 'b5 b4,b5 b4': 'stay',\n",
       " 'b5 a4,b5 b4': 'stay',\n",
       " 'a5 b6,b5 b6': 'left',\n",
       " 'a5 a6,b5 b6': 'left',\n",
       " 'b5 b6,b5 b6': 'up',\n",
       " 'b5 a6,b5 b6': 'up',\n",
       " 'a6 a2,b6 a1': 'left',\n",
       " 'a6 a1,b6 a1': 'left',\n",
       " 'a6 b1,b6 a1': 'left',\n",
       " 'b6 a2,b6 a1': 'up',\n",
       " 'b6 a1,b6 a1': 'up',\n",
       " 'b6 b1,b6 a1': 'up',\n",
       " 'a6 a3,b6 a2': 'left',\n",
       " 'a6 a2,b6 a2': 'left',\n",
       " 'a6 b2,b6 a2': 'left',\n",
       " 'b6 a3,b6 a2': 'up',\n",
       " 'b6 a2,b6 a2': 'up',\n",
       " 'b6 b2,b6 a2': 'up',\n",
       " 'a6 a4,b6 a3': 'stay',\n",
       " 'a6 a3,b6 a3': 'left',\n",
       " 'a6 b3,b6 a3': 'left',\n",
       " 'b6 a4,b6 a3': 'up',\n",
       " 'b6 a3,b6 a3': 'up',\n",
       " 'b6 b3,b6 a3': 'up',\n",
       " 'a6 a5,b6 a4': 'left',\n",
       " 'a6 a4,b6 a4': 'stay',\n",
       " 'a6 b4,b6 a4': 'left',\n",
       " 'b6 a5,b6 a4': 'stay',\n",
       " 'b6 a4,b6 a4': 'up',\n",
       " 'b6 b4,b6 a4': 'up',\n",
       " 'a6 a5,b6 a5': 'left',\n",
       " 'a6 b5,b6 a5': 'left',\n",
       " 'b6 a6,b6 a5': 'stay',\n",
       " 'b6 a5,b6 a5': 'up',\n",
       " 'b6 b5,b6 a5': 'up',\n",
       " 'b6 a6,b6 a6': 'stay',\n",
       " 'a6 b1,b6 b1': 'left',\n",
       " 'a6 a1,b6 b1': 'left',\n",
       " 'b6 b1,b6 b1': 'up',\n",
       " 'b6 a1,b6 b1': 'up',\n",
       " 'a6 b2,b6 b2': 'left',\n",
       " 'a6 a2,b6 b2': 'left',\n",
       " 'b6 b2,b6 b2': 'up',\n",
       " 'b6 a2,b6 b2': 'up',\n",
       " 'a6 b3,b6 b3': 'left',\n",
       " 'a6 a3,b6 b3': 'left',\n",
       " 'b6 b3,b6 b3': 'up',\n",
       " 'b6 a3,b6 b3': 'up',\n",
       " 'a6 b4,b6 b4': 'left',\n",
       " 'a6 a4,b6 b4': 'stay',\n",
       " 'b6 b4,b6 b4': 'up',\n",
       " 'b6 a4,b6 b4': 'up',\n",
       " 'a6 b5,b6 b5': 'stay',\n",
       " 'a6 a5,b6 b5': 'left',\n",
       " 'b6 b5,b6 b5': 'up',\n",
       " 'b6 a5,b6 b5': 'stay',\n",
       " 'a6 a1,a-9 a-9': 'left'}"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# print the results:\n",
    "social_optimal_policy, social_optimal_V = convertStates(policy)\n",
    "social_optimal_policy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "social_eval = policy_eval(policy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Altruist agent (beta = 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Define rewards for all states\n",
    "rewards = {}\n",
    "for s in all_states:\n",
    "    rewards[s] = social_beta_reward(s, 0) # Altruist\n",
    "\n",
    "#Define initial value function \n",
    "V={}\n",
    "for s in all_states:\n",
    "    V[s] = social_beta_reward(s, 0)\n",
    "\n",
    "#Define an initial policy\n",
    "policy={}\n",
    "for s in actions.keys():\n",
    "    policy[s] = np.random.choice(actions[s])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "converge after: 61 iterations\n"
     ]
    }
   ],
   "source": [
    "value_iteration()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'a2 a1,a2 a1': 'down',\n",
       " 'a2 b1,a2 a1': 'left',\n",
       " 'b2 a2,a2 a1': 'up',\n",
       " 'b2 a1,a2 a1': 'stay',\n",
       " 'b2 b1,a2 a1': 'stay',\n",
       " 'a2 a4,a2 a3': 'left',\n",
       " 'a2 a3,a2 a3': 'left',\n",
       " 'a2 b3,a2 a3': 'left',\n",
       " 'b2 a4,a2 a3': 'up',\n",
       " 'b2 a3,a2 a3': 'up',\n",
       " 'b2 b3,a2 a3': 'up',\n",
       " 'a2 a5,a2 a4': 'stay',\n",
       " 'a2 a4,a2 a4': 'left',\n",
       " 'a2 b4,a2 a4': 'left',\n",
       " 'b2 a5,a2 a4': 'up',\n",
       " 'b2 a4,a2 a4': 'up',\n",
       " 'b2 b4,a2 a4': 'up',\n",
       " 'a2 a6,a2 a5': 'stay',\n",
       " 'a2 a5,a2 a5': 'stay',\n",
       " 'a2 b5,a2 a5': 'left',\n",
       " 'b2 a6,a2 a5': 'up',\n",
       " 'b2 a5,a2 a5': 'up',\n",
       " 'b2 b5,a2 a5': 'up',\n",
       " 'a2 a6,a2 a6': 'stay',\n",
       " 'b2 a6,a2 a6': 'up',\n",
       " 'a2 b1,a2 b1': 'down',\n",
       " 'a2 a1,a2 b1': 'down',\n",
       " 'b2 b1,a2 b1': 'stay',\n",
       " 'b2 a1,a2 b1': 'stay',\n",
       " 'a2 b2,a2 b2': 'left',\n",
       " 'b2 a2,a2 b2': 'up',\n",
       " 'a2 b3,a2 b3': 'left',\n",
       " 'a2 a3,a2 b3': 'left',\n",
       " 'b2 b3,a2 b3': 'up',\n",
       " 'b2 a3,a2 b3': 'up',\n",
       " 'a2 b4,a2 b4': 'left',\n",
       " 'a2 a4,a2 b4': 'left',\n",
       " 'b2 b4,a2 b4': 'up',\n",
       " 'b2 a4,a2 b4': 'up',\n",
       " 'a2 b5,a2 b5': 'left',\n",
       " 'a2 a5,a2 b5': 'stay',\n",
       " 'b2 b5,a2 b5': 'up',\n",
       " 'b2 a5,a2 b5': 'up',\n",
       " 'a2 b6,a2 b6': 'stay',\n",
       " 'a2 a6,a2 b6': 'stay',\n",
       " 'b2 b6,a2 b6': 'up',\n",
       " 'b2 a6,a2 b6': 'up',\n",
       " 'a3 a2,a3 a1': 'down',\n",
       " 'a3 a1,a3 a1': 'down',\n",
       " 'a3 b1,a3 a1': 'down',\n",
       " 'a2 a1,a3 a1': 'down',\n",
       " 'a2 b1,a3 a1': 'down',\n",
       " 'b3 a2,a3 a1': 'stay',\n",
       " 'b3 a1,a3 a1': 'stay',\n",
       " 'b3 b1,a3 a1': 'up',\n",
       " 'a3 a2,a3 a2': 'down',\n",
       " 'a3 b2,a3 a2': 'stay',\n",
       " 'a2 a3,a3 a2': 'left',\n",
       " 'a2 b2,a3 a2': 'left',\n",
       " 'b3 a3,a3 a2': 'up',\n",
       " 'b3 a2,a3 a2': 'stay',\n",
       " 'b3 b2,a3 a2': 'stay',\n",
       " 'a3 a5,a3 a4': 'left',\n",
       " 'a3 a4,a3 a4': 'left',\n",
       " 'a3 b4,a3 a4': 'left',\n",
       " 'a2 a5,a3 a4': 'stay',\n",
       " 'a2 a4,a3 a4': 'left',\n",
       " 'a2 b4,a3 a4': 'left',\n",
       " 'b3 a5,a3 a4': 'up',\n",
       " 'b3 a4,a3 a4': 'up',\n",
       " 'b3 b4,a3 a4': 'up',\n",
       " 'a3 a6,a3 a5': 'stay',\n",
       " 'a3 a5,a3 a5': 'left',\n",
       " 'a3 b5,a3 a5': 'left',\n",
       " 'a2 a6,a3 a5': 'stay',\n",
       " 'a2 a5,a3 a5': 'stay',\n",
       " 'a2 b5,a3 a5': 'left',\n",
       " 'b3 a6,a3 a5': 'up',\n",
       " 'b3 a5,a3 a5': 'up',\n",
       " 'b3 b5,a3 a5': 'up',\n",
       " 'a3 a6,a3 a6': 'stay',\n",
       " 'a2 a6,a3 a6': 'stay',\n",
       " 'b3 a6,a3 a6': 'up',\n",
       " 'a3 b1,a3 b1': 'down',\n",
       " 'a3 a1,a3 b1': 'down',\n",
       " 'a2 b1,a3 b1': 'left',\n",
       " 'a2 a1,a3 b1': 'down',\n",
       " 'b3 b1,a3 b1': 'stay',\n",
       " 'b3 a1,a3 b1': 'stay',\n",
       " 'a3 b2,a3 b2': 'stay',\n",
       " 'a3 a2,a3 b2': 'down',\n",
       " 'a2 b2,a3 b2': 'left',\n",
       " 'b3 b2,a3 b2': 'stay',\n",
       " 'b3 a2,a3 b2': 'stay',\n",
       " 'a3 b3,a3 b3': 'left',\n",
       " 'a2 b3,a3 b3': 'left',\n",
       " 'a2 a3,a3 b3': 'left',\n",
       " 'b3 a3,a3 b3': 'up',\n",
       " 'a3 b4,a3 b4': 'left',\n",
       " 'a3 a4,a3 b4': 'left',\n",
       " 'a2 b4,a3 b4': 'left',\n",
       " 'a2 a4,a3 b4': 'left',\n",
       " 'b3 b4,a3 b4': 'up',\n",
       " 'b3 a4,a3 b4': 'up',\n",
       " 'a3 b5,a3 b5': 'left',\n",
       " 'a3 a5,a3 b5': 'left',\n",
       " 'a2 b5,a3 b5': 'left',\n",
       " 'a2 a5,a3 b5': 'stay',\n",
       " 'b3 b5,a3 b5': 'up',\n",
       " 'b3 a5,a3 b5': 'up',\n",
       " 'a3 b6,a3 b6': 'stay',\n",
       " 'a3 a6,a3 b6': 'stay',\n",
       " 'a2 b6,a3 b6': 'stay',\n",
       " 'a2 a6,a3 b6': 'stay',\n",
       " 'b3 b6,a3 b6': 'up',\n",
       " 'b3 a6,a3 b6': 'up',\n",
       " 'a4 a2,a4 a1': 'stay',\n",
       " 'a4 a1,a4 a1': 'down',\n",
       " 'a4 b1,a4 a1': 'down',\n",
       " 'a3 a2,a4 a1': 'down',\n",
       " 'a3 a1,a4 a1': 'down',\n",
       " 'a3 b1,a4 a1': 'down',\n",
       " 'b4 a2,a4 a1': 'up',\n",
       " 'b4 a1,a4 a1': 'stay',\n",
       " 'b4 b1,a4 a1': 'stay',\n",
       " 'a4 a3,a4 a2': 'down',\n",
       " 'a4 a2,a4 a2': 'stay',\n",
       " 'a4 b2,a4 a2': 'stay',\n",
       " 'a3 a2,a4 a2': 'down',\n",
       " 'a3 b2,a4 a2': 'stay',\n",
       " 'b4 a3,a4 a2': 'stay',\n",
       " 'b4 a2,a4 a2': 'up',\n",
       " 'b4 b2,a4 a2': 'up',\n",
       " 'a4 a3,a4 a3': 'down',\n",
       " 'a4 b3,a4 a3': 'down',\n",
       " 'a3 a4,a4 a3': 'left',\n",
       " 'a3 b3,a4 a3': 'left',\n",
       " 'b4 a4,a4 a3': 'up',\n",
       " 'b4 a3,a4 a3': 'stay',\n",
       " 'b4 b3,a4 a3': 'stay',\n",
       " 'a4 a6,a4 a5': 'stay',\n",
       " 'a4 a5,a4 a5': 'left',\n",
       " 'a4 b5,a4 a5': 'stay',\n",
       " 'a3 a6,a4 a5': 'stay',\n",
       " 'a3 a5,a4 a5': 'left',\n",
       " 'a3 b5,a4 a5': 'left',\n",
       " 'b4 a6,a4 a5': 'up',\n",
       " 'b4 a5,a4 a5': 'up',\n",
       " 'b4 b5,a4 a5': 'up',\n",
       " 'a4 a6,a4 a6': 'stay',\n",
       " 'a3 a6,a4 a6': 'stay',\n",
       " 'b4 a6,a4 a6': 'up',\n",
       " 'a4 b1,a4 b1': 'down',\n",
       " 'a4 a1,a4 b1': 'down',\n",
       " 'a3 b1,a4 b1': 'down',\n",
       " 'a3 a1,a4 b1': 'stay',\n",
       " 'b4 b1,a4 b1': 'stay',\n",
       " 'b4 a1,a4 b1': 'stay',\n",
       " 'a4 b2,a4 b2': 'stay',\n",
       " 'a4 a2,a4 b2': 'down',\n",
       " 'a3 b2,a4 b2': 'stay',\n",
       " 'a3 a2,a4 b2': 'down',\n",
       " 'b4 b2,a4 b2': 'up',\n",
       " 'b4 a2,a4 b2': 'up',\n",
       " 'a4 b3,a4 b3': 'down',\n",
       " 'a4 a3,a4 b3': 'down',\n",
       " 'a3 b3,a4 b3': 'left',\n",
       " 'b4 b3,a4 b3': 'stay',\n",
       " 'b4 a3,a4 b3': 'stay',\n",
       " 'a4 b4,a4 b4': 'left',\n",
       " 'a3 b4,a4 b4': 'left',\n",
       " 'a3 a4,a4 b4': 'left',\n",
       " 'b4 a4,a4 b4': 'up',\n",
       " 'a4 b5,a4 b5': 'stay',\n",
       " 'a4 a5,a4 b5': 'left',\n",
       " 'a3 b5,a4 b5': 'left',\n",
       " 'a3 a5,a4 b5': 'left',\n",
       " 'b4 b5,a4 b5': 'up',\n",
       " 'b4 a5,a4 b5': 'up',\n",
       " 'a4 b6,a4 b6': 'stay',\n",
       " 'a4 a6,a4 b6': 'stay',\n",
       " 'a3 b6,a4 b6': 'stay',\n",
       " 'a3 a6,a4 b6': 'stay',\n",
       " 'b4 b6,a4 b6': 'up',\n",
       " 'b4 a6,a4 b6': 'up',\n",
       " 'a5 a2,a5 a1': 'left',\n",
       " 'a5 a1,a5 a1': 'stay',\n",
       " 'a5 b1,a5 a1': 'stay',\n",
       " 'a4 a2,a5 a1': 'stay',\n",
       " 'a4 a1,a5 a1': 'down',\n",
       " 'a4 b1,a5 a1': 'down',\n",
       " 'b5 a2,a5 a1': 'up',\n",
       " 'b5 a1,a5 a1': 'up',\n",
       " 'b5 b1,a5 a1': 'up',\n",
       " 'a5 a3,a5 a2': 'down',\n",
       " 'a5 a2,a5 a2': 'left',\n",
       " 'a5 b2,a5 a2': 'left',\n",
       " 'a4 a3,a5 a2': 'down',\n",
       " 'a4 a2,a5 a2': 'stay',\n",
       " 'a4 b2,a5 a2': 'stay',\n",
       " 'b5 a3,a5 a2': 'stay',\n",
       " 'b5 a2,a5 a2': 'up',\n",
       " 'b5 b2,a5 a2': 'up',\n",
       " 'a5 a4,a5 a3': 'down',\n",
       " 'a5 a3,a5 a3': 'down',\n",
       " 'a5 b3,a5 a3': 'left',\n",
       " 'a4 a3,a5 a3': 'down',\n",
       " 'a4 b3,a5 a3': 'down',\n",
       " 'b5 a4,a5 a3': 'stay',\n",
       " 'b5 a3,a5 a3': 'stay',\n",
       " 'b5 b3,a5 a3': 'up',\n",
       " 'a5 a4,a5 a4': 'down',\n",
       " 'a5 b4,a5 a4': 'down',\n",
       " 'a4 a5,a5 a4': 'left',\n",
       " 'a4 b4,a5 a4': 'left',\n",
       " 'b5 a5,a5 a4': 'up',\n",
       " 'b5 a4,a5 a4': 'stay',\n",
       " 'b5 b4,a5 a4': 'stay',\n",
       " 'a5 a6,a5 a6': 'stay',\n",
       " 'a4 a6,a5 a6': 'stay',\n",
       " 'b5 a6,a5 a6': 'up',\n",
       " 'a5 b1,a5 b1': 'stay',\n",
       " 'a5 a1,a5 b1': 'stay',\n",
       " 'a4 b1,a5 b1': 'down',\n",
       " 'a4 a1,a5 b1': 'stay',\n",
       " 'b5 b1,a5 b1': 'up',\n",
       " 'b5 a1,a5 b1': 'up',\n",
       " 'a5 b2,a5 b2': 'left',\n",
       " 'a5 a2,a5 b2': 'left',\n",
       " 'a4 b2,a5 b2': 'stay',\n",
       " 'a4 a2,a5 b2': 'stay',\n",
       " 'b5 b2,a5 b2': 'up',\n",
       " 'b5 a2,a5 b2': 'up',\n",
       " 'a5 b3,a5 b3': 'left',\n",
       " 'a5 a3,a5 b3': 'down',\n",
       " 'a4 b3,a5 b3': 'down',\n",
       " 'a4 a3,a5 b3': 'down',\n",
       " 'b5 b3,a5 b3': 'up',\n",
       " 'b5 a3,a5 b3': 'stay',\n",
       " 'a5 b4,a5 b4': 'down',\n",
       " 'a5 a4,a5 b4': 'down',\n",
       " 'a4 b4,a5 b4': 'left',\n",
       " 'b5 b4,a5 b4': 'stay',\n",
       " 'b5 a4,a5 b4': 'stay',\n",
       " 'a5 b5,a5 b5': 'left',\n",
       " 'a4 b5,a5 b5': 'stay',\n",
       " 'a4 a5,a5 b5': 'left',\n",
       " 'b5 a5,a5 b5': 'up',\n",
       " 'a5 b6,a5 b6': 'stay',\n",
       " 'a5 a6,a5 b6': 'stay',\n",
       " 'a4 b6,a5 b6': 'stay',\n",
       " 'a4 a6,a5 b6': 'stay',\n",
       " 'b5 b6,a5 b6': 'up',\n",
       " 'b5 a6,a5 b6': 'up',\n",
       " 'a6 a2,a6 a1': 'stay',\n",
       " 'a6 a1,a6 a1': 'stay',\n",
       " 'a6 b1,a6 a1': 'down',\n",
       " 'a5 a2,a6 a1': 'left',\n",
       " 'a5 a1,a6 a1': 'stay',\n",
       " 'a5 b1,a6 a1': 'stay',\n",
       " 'b6 a2,a6 a1': 'stay',\n",
       " 'b6 a1,a6 a1': 'stay',\n",
       " 'b6 b1,a6 a1': 'stay',\n",
       " 'a6 a3,a6 a2': 'down',\n",
       " 'a6 a2,a6 a2': 'stay',\n",
       " 'a6 b2,a6 a2': 'stay',\n",
       " 'a5 a3,a6 a2': 'down',\n",
       " 'a5 a2,a6 a2': 'left',\n",
       " 'a5 b2,a6 a2': 'left',\n",
       " 'b6 a3,a6 a2': 'stay',\n",
       " 'b6 a2,a6 a2': 'stay',\n",
       " 'b6 b2,a6 a2': 'up',\n",
       " 'a6 a4,a6 a3': 'down',\n",
       " 'a6 a3,a6 a3': 'stay',\n",
       " 'a6 b3,a6 a3': 'down',\n",
       " 'a5 a4,a6 a3': 'down',\n",
       " 'a5 a3,a6 a3': 'down',\n",
       " 'a5 b3,a6 a3': 'left',\n",
       " 'b6 a4,a6 a3': 'stay',\n",
       " 'b6 a3,a6 a3': 'stay',\n",
       " 'b6 b3,a6 a3': 'up',\n",
       " 'a6 a5,a6 a4': 'down',\n",
       " 'a6 a4,a6 a4': 'down',\n",
       " 'a6 b4,a6 a4': 'down',\n",
       " 'a5 a4,a6 a4': 'down',\n",
       " 'a5 b4,a6 a4': 'down',\n",
       " 'b6 a5,a6 a4': 'stay',\n",
       " 'b6 a4,a6 a4': 'stay',\n",
       " 'b6 b4,a6 a4': 'up',\n",
       " 'a6 a5,a6 a5': 'down',\n",
       " 'a6 b5,a6 a5': 'down',\n",
       " 'a5 a6,a6 a5': 'stay',\n",
       " 'a5 b5,a6 a5': 'left',\n",
       " 'b6 a6,a6 a5': 'stay',\n",
       " 'b6 a5,a6 a5': 'stay',\n",
       " 'b6 b5,a6 a5': 'stay',\n",
       " 'a6 b1,a6 b1': 'down',\n",
       " 'a6 a1,a6 b1': 'stay',\n",
       " 'a5 b1,a6 b1': 'stay',\n",
       " 'a5 a1,a6 b1': 'stay',\n",
       " 'b6 b1,a6 b1': 'stay',\n",
       " 'b6 a1,a6 b1': 'stay',\n",
       " 'a6 b2,a6 b2': 'stay',\n",
       " 'a6 a2,a6 b2': 'stay',\n",
       " 'a5 b2,a6 b2': 'left',\n",
       " 'a5 a2,a6 b2': 'left',\n",
       " 'b6 b2,a6 b2': 'up',\n",
       " 'b6 a2,a6 b2': 'stay',\n",
       " 'a6 b3,a6 b3': 'down',\n",
       " 'a6 a3,a6 b3': 'stay',\n",
       " 'a5 b3,a6 b3': 'left',\n",
       " 'a5 a3,a6 b3': 'down',\n",
       " 'b6 b3,a6 b3': 'up',\n",
       " 'b6 a3,a6 b3': 'stay',\n",
       " 'a6 b4,a6 b4': 'down',\n",
       " 'a6 a4,a6 b4': 'down',\n",
       " 'a5 b4,a6 b4': 'down',\n",
       " 'a5 a4,a6 b4': 'down',\n",
       " 'b6 b4,a6 b4': 'up',\n",
       " 'b6 a4,a6 b4': 'stay',\n",
       " 'a6 b5,a6 b5': 'down',\n",
       " 'a6 a5,a6 b5': 'down',\n",
       " 'a5 b5,a6 b5': 'left',\n",
       " 'b6 b5,a6 b5': 'stay',\n",
       " 'b6 a5,a6 b5': 'stay',\n",
       " 'a6 b6,a6 b6': 'left',\n",
       " 'a5 b6,a6 b6': 'stay',\n",
       " 'a5 a6,a6 b6': 'stay',\n",
       " 'b6 a6,a6 b6': 'stay',\n",
       " 'b1 a2,b1 a1': 'up',\n",
       " 'b1 a1,b1 a1': 'up',\n",
       " 'b1 a3,b1 a2': 'up',\n",
       " 'b1 a2,b1 a2': 'up',\n",
       " 'b1 b2,b1 a2': 'up',\n",
       " 'b1 a4,b1 a3': 'up',\n",
       " 'b1 a3,b1 a3': 'up',\n",
       " 'b1 b3,b1 a3': 'up',\n",
       " 'b1 a5,b1 a4': 'stay',\n",
       " 'b1 a4,b1 a4': 'up',\n",
       " 'b1 b4,b1 a4': 'up',\n",
       " 'b1 a6,b1 a5': 'stay',\n",
       " 'b1 a5,b1 a5': 'stay',\n",
       " 'b1 b5,b1 a5': 'up',\n",
       " 'b1 a6,b1 a6': 'stay',\n",
       " 'b1 b2,b1 b2': 'up',\n",
       " 'b1 a2,b1 b2': 'up',\n",
       " 'b1 b3,b1 b3': 'up',\n",
       " 'b1 a3,b1 b3': 'up',\n",
       " 'b1 b4,b1 b4': 'up',\n",
       " 'b1 a4,b1 b4': 'up',\n",
       " 'b1 b5,b1 b5': 'up',\n",
       " 'b1 a5,b1 b5': 'stay',\n",
       " 'b1 b6,b1 b6': 'stay',\n",
       " 'b1 a6,b1 b6': 'stay',\n",
       " 'a2 a1,b2 a1': 'down',\n",
       " 'a2 b1,b2 a1': 'down',\n",
       " 'b2 a2,b2 a1': 'up',\n",
       " 'b2 a1,b2 a1': 'stay',\n",
       " 'b2 b1,b2 a1': 'stay',\n",
       " 'a2 a3,b2 a2': 'left',\n",
       " 'a2 b2,b2 a2': 'left',\n",
       " 'b2 a3,b2 a2': 'up',\n",
       " 'b2 a2,b2 a2': 'up',\n",
       " 'a2 a4,b2 a3': 'left',\n",
       " 'a2 a3,b2 a3': 'left',\n",
       " 'a2 b3,b2 a3': 'left',\n",
       " 'b2 a4,b2 a3': 'up',\n",
       " 'b2 a3,b2 a3': 'up',\n",
       " 'b2 b3,b2 a3': 'up',\n",
       " 'a2 a5,b2 a4': 'stay',\n",
       " 'a2 a4,b2 a4': 'left',\n",
       " 'a2 b4,b2 a4': 'left',\n",
       " 'b2 a5,b2 a4': 'up',\n",
       " 'b2 a4,b2 a4': 'up',\n",
       " 'b2 b4,b2 a4': 'up',\n",
       " 'a2 a6,b2 a5': 'stay',\n",
       " 'a2 a5,b2 a5': 'stay',\n",
       " 'a2 b5,b2 a5': 'left',\n",
       " 'b2 a6,b2 a5': 'up',\n",
       " 'b2 a5,b2 a5': 'up',\n",
       " 'b2 b5,b2 a5': 'up',\n",
       " 'a2 a6,b2 a6': 'stay',\n",
       " 'b2 a6,b2 a6': 'up',\n",
       " 'a2 b1,b2 b1': 'down',\n",
       " 'a2 a1,b2 b1': 'down',\n",
       " 'b2 b1,b2 b1': 'up',\n",
       " 'b2 a1,b2 b1': 'stay',\n",
       " 'a2 b3,b2 b3': 'left',\n",
       " 'a2 a3,b2 b3': 'left',\n",
       " 'b2 b3,b2 b3': 'up',\n",
       " 'b2 a3,b2 b3': 'up',\n",
       " 'a2 b4,b2 b4': 'left',\n",
       " 'a2 a4,b2 b4': 'left',\n",
       " 'b2 b4,b2 b4': 'up',\n",
       " 'b2 a4,b2 b4': 'up',\n",
       " 'a2 b5,b2 b5': 'left',\n",
       " 'a2 a5,b2 b5': 'stay',\n",
       " 'b2 b5,b2 b5': 'up',\n",
       " 'b2 a5,b2 b5': 'up',\n",
       " 'a2 b6,b2 b6': 'stay',\n",
       " 'a2 a6,b2 b6': 'stay',\n",
       " 'b2 b6,b2 b6': 'up',\n",
       " 'b2 a6,b2 b6': 'up',\n",
       " 'a3 a2,b3 a1': 'down',\n",
       " 'a3 a1,b3 a1': 'down',\n",
       " 'a3 b1,b3 a1': 'down',\n",
       " 'b3 a2,b3 a1': 'stay',\n",
       " 'b3 a1,b3 a1': 'stay',\n",
       " 'b3 b1,b3 a1': 'up',\n",
       " 'a3 a2,b3 a2': 'down',\n",
       " 'a3 b2,b3 a2': 'stay',\n",
       " 'b3 a3,b3 a2': 'up',\n",
       " 'b3 a2,b3 a2': 'stay',\n",
       " 'b3 b2,b3 a2': 'stay',\n",
       " 'a3 a4,b3 a3': 'left',\n",
       " 'a3 b3,b3 a3': 'left',\n",
       " 'b3 a4,b3 a3': 'up',\n",
       " 'b3 a3,b3 a3': 'up',\n",
       " 'a3 a5,b3 a4': 'left',\n",
       " 'a3 a4,b3 a4': 'left',\n",
       " 'a3 b4,b3 a4': 'left',\n",
       " 'b3 a5,b3 a4': 'up',\n",
       " 'b3 a4,b3 a4': 'up',\n",
       " 'b3 b4,b3 a4': 'up',\n",
       " 'a3 a6,b3 a5': 'stay',\n",
       " 'a3 a5,b3 a5': 'left',\n",
       " 'a3 b5,b3 a5': 'left',\n",
       " 'b3 a6,b3 a5': 'up',\n",
       " 'b3 a5,b3 a5': 'up',\n",
       " 'b3 b5,b3 a5': 'up',\n",
       " 'a3 a6,b3 a6': 'stay',\n",
       " 'b3 a6,b3 a6': 'up',\n",
       " 'a3 b1,b3 b1': 'down',\n",
       " 'a3 a1,b3 b1': 'stay',\n",
       " 'b3 b1,b3 b1': 'up',\n",
       " 'b3 a1,b3 b1': 'stay',\n",
       " 'a3 b2,b3 b2': 'stay',\n",
       " 'a3 a2,b3 b2': 'down',\n",
       " 'b3 b2,b3 b2': 'up',\n",
       " 'b3 a2,b3 b2': 'stay',\n",
       " 'a3 b4,b3 b4': 'left',\n",
       " 'a3 a4,b3 b4': 'left',\n",
       " 'b3 b4,b3 b4': 'up',\n",
       " 'b3 a4,b3 b4': 'up',\n",
       " 'a3 b5,b3 b5': 'left',\n",
       " 'a3 a5,b3 b5': 'left',\n",
       " 'b3 b5,b3 b5': 'up',\n",
       " 'b3 a5,b3 b5': 'up',\n",
       " 'a3 b6,b3 b6': 'stay',\n",
       " 'a3 a6,b3 b6': 'stay',\n",
       " 'b3 b6,b3 b6': 'up',\n",
       " 'b3 a6,b3 b6': 'up',\n",
       " 'a4 a2,b4 a1': 'stay',\n",
       " 'a4 a1,b4 a1': 'down',\n",
       " 'a4 b1,b4 a1': 'down',\n",
       " 'b4 a2,b4 a1': 'up',\n",
       " 'b4 a1,b4 a1': 'stay',\n",
       " 'b4 b1,b4 a1': 'stay',\n",
       " 'a4 a3,b4 a2': 'down',\n",
       " 'a4 a2,b4 a2': 'stay',\n",
       " 'a4 b2,b4 a2': 'stay',\n",
       " 'b4 a3,b4 a2': 'stay',\n",
       " 'b4 a2,b4 a2': 'up',\n",
       " 'b4 b2,b4 a2': 'up',\n",
       " 'a4 a3,b4 a3': 'down',\n",
       " 'a4 b3,b4 a3': 'down',\n",
       " 'b4 a4,b4 a3': 'up',\n",
       " 'b4 a3,b4 a3': 'stay',\n",
       " 'b4 b3,b4 a3': 'stay',\n",
       " 'a4 a5,b4 a4': 'left',\n",
       " 'a4 b4,b4 a4': 'left',\n",
       " 'b4 a5,b4 a4': 'up',\n",
       " 'b4 a4,b4 a4': 'stay',\n",
       " 'a4 a6,b4 a5': 'stay',\n",
       " 'a4 a5,b4 a5': 'left',\n",
       " 'a4 b5,b4 a5': 'stay',\n",
       " 'b4 a6,b4 a5': 'up',\n",
       " 'b4 a5,b4 a5': 'up',\n",
       " 'b4 b5,b4 a5': 'up',\n",
       " 'a4 a6,b4 a6': 'stay',\n",
       " 'b4 a6,b4 a6': 'up',\n",
       " 'a4 b1,b4 b1': 'down',\n",
       " 'a4 a1,b4 b1': 'down',\n",
       " 'b4 b1,b4 b1': 'stay',\n",
       " 'b4 a1,b4 b1': 'stay',\n",
       " 'a4 b2,b4 b2': 'stay',\n",
       " 'a4 a2,b4 b2': 'stay',\n",
       " 'b4 b2,b4 b2': 'up',\n",
       " 'b4 a2,b4 b2': 'up',\n",
       " 'a4 b3,b4 b3': 'down',\n",
       " 'a4 a3,b4 b3': 'down',\n",
       " 'b4 b3,b4 b3': 'stay',\n",
       " 'b4 a3,b4 b3': 'stay',\n",
       " 'a4 b5,b4 b5': 'stay',\n",
       " 'a4 a5,b4 b5': 'left',\n",
       " 'b4 b5,b4 b5': 'up',\n",
       " 'b4 a5,b4 b5': 'up',\n",
       " 'a4 b6,b4 b6': 'stay',\n",
       " 'a4 a6,b4 b6': 'stay',\n",
       " 'b4 b6,b4 b6': 'up',\n",
       " 'b4 a6,b4 b6': 'up',\n",
       " 'a5 a2,b5 a1': 'left',\n",
       " 'a5 a1,b5 a1': 'stay',\n",
       " 'a5 b1,b5 a1': 'stay',\n",
       " 'b5 a2,b5 a1': 'up',\n",
       " 'b5 a1,b5 a1': 'up',\n",
       " 'b5 b1,b5 a1': 'up',\n",
       " 'a5 a3,b5 a2': 'stay',\n",
       " 'a5 a2,b5 a2': 'left',\n",
       " 'a5 b2,b5 a2': 'left',\n",
       " 'b5 a3,b5 a2': 'up',\n",
       " 'b5 a2,b5 a2': 'up',\n",
       " 'b5 b2,b5 a2': 'up',\n",
       " 'a5 a4,b5 a3': 'down',\n",
       " 'a5 a3,b5 a3': 'stay',\n",
       " 'a5 b3,b5 a3': 'left',\n",
       " 'b5 a4,b5 a3': 'stay',\n",
       " 'b5 a3,b5 a3': 'stay',\n",
       " 'b5 b3,b5 a3': 'up',\n",
       " 'a5 a4,b5 a4': 'down',\n",
       " 'a5 b4,b5 a4': 'down',\n",
       " 'b5 a5,b5 a4': 'up',\n",
       " 'b5 a4,b5 a4': 'stay',\n",
       " 'b5 b4,b5 a4': 'stay',\n",
       " 'a5 a6,b5 a5': 'stay',\n",
       " 'a5 b5,b5 a5': 'left',\n",
       " 'b5 a6,b5 a5': 'up',\n",
       " 'b5 a5,b5 a5': 'up',\n",
       " 'a5 a6,b5 a6': 'stay',\n",
       " 'b5 a6,b5 a6': 'up',\n",
       " 'a5 b1,b5 b1': 'stay',\n",
       " 'a5 a1,b5 b1': 'stay',\n",
       " 'b5 b1,b5 b1': 'up',\n",
       " 'b5 a1,b5 b1': 'up',\n",
       " 'a5 b2,b5 b2': 'left',\n",
       " 'a5 a2,b5 b2': 'left',\n",
       " 'b5 b2,b5 b2': 'up',\n",
       " 'b5 a2,b5 b2': 'up',\n",
       " 'a5 b3,b5 b3': 'left',\n",
       " 'a5 a3,b5 b3': 'down',\n",
       " 'b5 b3,b5 b3': 'up',\n",
       " 'b5 a3,b5 b3': 'stay',\n",
       " 'a5 b4,b5 b4': 'down',\n",
       " 'a5 a4,b5 b4': 'down',\n",
       " 'b5 b4,b5 b4': 'stay',\n",
       " 'b5 a4,b5 b4': 'stay',\n",
       " 'a5 b6,b5 b6': 'stay',\n",
       " 'a5 a6,b5 b6': 'stay',\n",
       " 'b5 b6,b5 b6': 'up',\n",
       " 'b5 a6,b5 b6': 'up',\n",
       " 'a6 a2,b6 a1': 'stay',\n",
       " 'a6 a1,b6 a1': 'stay',\n",
       " 'a6 b1,b6 a1': 'down',\n",
       " 'b6 a2,b6 a1': 'stay',\n",
       " 'b6 a1,b6 a1': 'up',\n",
       " 'b6 b1,b6 a1': 'stay',\n",
       " 'a6 a3,b6 a2': 'down',\n",
       " 'a6 a2,b6 a2': 'stay',\n",
       " 'a6 b2,b6 a2': 'stay',\n",
       " 'b6 a3,b6 a2': 'stay',\n",
       " 'b6 a2,b6 a2': 'stay',\n",
       " 'b6 b2,b6 a2': 'up',\n",
       " 'a6 a4,b6 a3': 'stay',\n",
       " 'a6 a3,b6 a3': 'stay',\n",
       " 'a6 b3,b6 a3': 'down',\n",
       " 'b6 a4,b6 a3': 'stay',\n",
       " 'b6 a3,b6 a3': 'stay',\n",
       " 'b6 b3,b6 a3': 'up',\n",
       " 'a6 a5,b6 a4': 'down',\n",
       " 'a6 a4,b6 a4': 'stay',\n",
       " 'a6 b4,b6 a4': 'down',\n",
       " 'b6 a5,b6 a4': 'stay',\n",
       " 'b6 a4,b6 a4': 'stay',\n",
       " 'b6 b4,b6 a4': 'up',\n",
       " 'a6 a5,b6 a5': 'down',\n",
       " 'a6 b5,b6 a5': 'down',\n",
       " 'b6 a6,b6 a5': 'stay',\n",
       " 'b6 a5,b6 a5': 'stay',\n",
       " 'b6 b5,b6 a5': 'stay',\n",
       " 'b6 a6,b6 a6': 'stay',\n",
       " 'a6 b1,b6 b1': 'stay',\n",
       " 'a6 a1,b6 b1': 'stay',\n",
       " 'b6 b1,b6 b1': 'stay',\n",
       " 'b6 a1,b6 b1': 'stay',\n",
       " 'a6 b2,b6 b2': 'stay',\n",
       " 'a6 a2,b6 b2': 'stay',\n",
       " 'b6 b2,b6 b2': 'up',\n",
       " 'b6 a2,b6 b2': 'stay',\n",
       " 'a6 b3,b6 b3': 'down',\n",
       " 'a6 a3,b6 b3': 'stay',\n",
       " 'b6 b3,b6 b3': 'up',\n",
       " 'b6 a3,b6 b3': 'stay',\n",
       " 'a6 b4,b6 b4': 'down',\n",
       " 'a6 a4,b6 b4': 'down',\n",
       " 'b6 b4,b6 b4': 'up',\n",
       " 'b6 a4,b6 b4': 'stay',\n",
       " 'a6 b5,b6 b5': 'down',\n",
       " 'a6 a5,b6 b5': 'down',\n",
       " 'b6 b5,b6 b5': 'stay',\n",
       " 'b6 a5,b6 b5': 'stay',\n",
       " 'a6 a1,a-9 a-9': 'stay'}"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "altruist_optimal_policy, altruist_optimal_V = convertStates(policy)\n",
    "altruist_optimal_policy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [],
   "source": [
    "altruist_eval = policy_eval(policy)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## best beta agent (beta = 0.13)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Define rewards for all states\n",
    "rewards = {}\n",
    "for s in all_states:\n",
    "    rewards[s] = social_beta_reward(s, 0.13) # Altruist\n",
    "\n",
    "#Define initial value function \n",
    "V={}\n",
    "for s in all_states:\n",
    "    V[s] = social_beta_reward(s, 0.13)\n",
    "\n",
    "#Define an initial policy\n",
    "policy={}\n",
    "for s in actions.keys():\n",
    "    policy[s] = np.random.choice(actions[s])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "100 ) \n",
      "200 ) \n",
      "300 ) \n",
      "400 ) \n",
      "500 ) \n",
      "600 ) \n",
      "700 ) \n",
      "800 ) \n",
      "900 ) \n",
      "1000 ) \n",
      "1100 ) \n",
      "1200 ) \n",
      "1300 ) \n",
      "1400 ) \n",
      "converge after: 1431 iterations\n"
     ]
    }
   ],
   "source": [
    "value_iteration()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'a2 a1,a2 a1': 'down',\n",
       " 'a2 b1,a2 a1': 'left',\n",
       " 'b2 a2,a2 a1': 'up',\n",
       " 'b2 a1,a2 a1': 'stay',\n",
       " 'b2 b1,a2 a1': 'stay',\n",
       " 'a2 a4,a2 a3': 'left',\n",
       " 'a2 a3,a2 a3': 'left',\n",
       " 'a2 b3,a2 a3': 'left',\n",
       " 'b2 a4,a2 a3': 'up',\n",
       " 'b2 a3,a2 a3': 'up',\n",
       " 'b2 b3,a2 a3': 'up',\n",
       " 'a2 a5,a2 a4': 'stay',\n",
       " 'a2 a4,a2 a4': 'left',\n",
       " 'a2 b4,a2 a4': 'left',\n",
       " 'b2 a5,a2 a4': 'up',\n",
       " 'b2 a4,a2 a4': 'up',\n",
       " 'b2 b4,a2 a4': 'up',\n",
       " 'a2 a6,a2 a5': 'left',\n",
       " 'a2 a5,a2 a5': 'stay',\n",
       " 'a2 b5,a2 a5': 'left',\n",
       " 'b2 a6,a2 a5': 'up',\n",
       " 'b2 a5,a2 a5': 'up',\n",
       " 'b2 b5,a2 a5': 'up',\n",
       " 'a2 a6,a2 a6': 'left',\n",
       " 'b2 a6,a2 a6': 'up',\n",
       " 'a2 b1,a2 b1': 'down',\n",
       " 'a2 a1,a2 b1': 'down',\n",
       " 'b2 b1,a2 b1': 'stay',\n",
       " 'b2 a1,a2 b1': 'stay',\n",
       " 'a2 b2,a2 b2': 'left',\n",
       " 'b2 a2,a2 b2': 'up',\n",
       " 'a2 b3,a2 b3': 'left',\n",
       " 'a2 a3,a2 b3': 'left',\n",
       " 'b2 b3,a2 b3': 'up',\n",
       " 'b2 a3,a2 b3': 'up',\n",
       " 'a2 b4,a2 b4': 'left',\n",
       " 'a2 a4,a2 b4': 'left',\n",
       " 'b2 b4,a2 b4': 'up',\n",
       " 'b2 a4,a2 b4': 'up',\n",
       " 'a2 b5,a2 b5': 'left',\n",
       " 'a2 a5,a2 b5': 'stay',\n",
       " 'b2 b5,a2 b5': 'up',\n",
       " 'b2 a5,a2 b5': 'up',\n",
       " 'a2 b6,a2 b6': 'stay',\n",
       " 'a2 a6,a2 b6': 'left',\n",
       " 'b2 b6,a2 b6': 'up',\n",
       " 'b2 a6,a2 b6': 'up',\n",
       " 'a3 a2,a3 a1': 'down',\n",
       " 'a3 a1,a3 a1': 'down',\n",
       " 'a3 b1,a3 a1': 'down',\n",
       " 'a2 a1,a3 a1': 'down',\n",
       " 'a2 b1,a3 a1': 'down',\n",
       " 'b3 a2,a3 a1': 'stay',\n",
       " 'b3 a1,a3 a1': 'stay',\n",
       " 'b3 b1,a3 a1': 'up',\n",
       " 'a3 a2,a3 a2': 'down',\n",
       " 'a3 b2,a3 a2': 'stay',\n",
       " 'a2 a3,a3 a2': 'left',\n",
       " 'a2 b2,a3 a2': 'left',\n",
       " 'b3 a3,a3 a2': 'up',\n",
       " 'b3 a2,a3 a2': 'stay',\n",
       " 'b3 b2,a3 a2': 'stay',\n",
       " 'a3 a5,a3 a4': 'left',\n",
       " 'a3 a4,a3 a4': 'left',\n",
       " 'a3 b4,a3 a4': 'left',\n",
       " 'a2 a5,a3 a4': 'stay',\n",
       " 'a2 a4,a3 a4': 'left',\n",
       " 'a2 b4,a3 a4': 'left',\n",
       " 'b3 a5,a3 a4': 'up',\n",
       " 'b3 a4,a3 a4': 'up',\n",
       " 'b3 b4,a3 a4': 'up',\n",
       " 'a3 a6,a3 a5': 'left',\n",
       " 'a3 a5,a3 a5': 'left',\n",
       " 'a3 b5,a3 a5': 'left',\n",
       " 'a2 a6,a3 a5': 'left',\n",
       " 'a2 a5,a3 a5': 'stay',\n",
       " 'a2 b5,a3 a5': 'left',\n",
       " 'b3 a6,a3 a5': 'up',\n",
       " 'b3 a5,a3 a5': 'up',\n",
       " 'b3 b5,a3 a5': 'up',\n",
       " 'a3 a6,a3 a6': 'left',\n",
       " 'a2 a6,a3 a6': 'left',\n",
       " 'b3 a6,a3 a6': 'up',\n",
       " 'a3 b1,a3 b1': 'down',\n",
       " 'a3 a1,a3 b1': 'down',\n",
       " 'a2 b1,a3 b1': 'left',\n",
       " 'a2 a1,a3 b1': 'down',\n",
       " 'b3 b1,a3 b1': 'stay',\n",
       " 'b3 a1,a3 b1': 'stay',\n",
       " 'a3 b2,a3 b2': 'stay',\n",
       " 'a3 a2,a3 b2': 'down',\n",
       " 'a2 b2,a3 b2': 'left',\n",
       " 'b3 b2,a3 b2': 'stay',\n",
       " 'b3 a2,a3 b2': 'stay',\n",
       " 'a3 b3,a3 b3': 'left',\n",
       " 'a2 b3,a3 b3': 'left',\n",
       " 'a2 a3,a3 b3': 'left',\n",
       " 'b3 a3,a3 b3': 'up',\n",
       " 'a3 b4,a3 b4': 'left',\n",
       " 'a3 a4,a3 b4': 'left',\n",
       " 'a2 b4,a3 b4': 'left',\n",
       " 'a2 a4,a3 b4': 'left',\n",
       " 'b3 b4,a3 b4': 'up',\n",
       " 'b3 a4,a3 b4': 'up',\n",
       " 'a3 b5,a3 b5': 'left',\n",
       " 'a3 a5,a3 b5': 'left',\n",
       " 'a2 b5,a3 b5': 'left',\n",
       " 'a2 a5,a3 b5': 'stay',\n",
       " 'b3 b5,a3 b5': 'up',\n",
       " 'b3 a5,a3 b5': 'up',\n",
       " 'a3 b6,a3 b6': 'left',\n",
       " 'a3 a6,a3 b6': 'left',\n",
       " 'a2 b6,a3 b6': 'stay',\n",
       " 'a2 a6,a3 b6': 'left',\n",
       " 'b3 b6,a3 b6': 'up',\n",
       " 'b3 a6,a3 b6': 'up',\n",
       " 'a4 a2,a4 a1': 'stay',\n",
       " 'a4 a1,a4 a1': 'left',\n",
       " 'a4 b1,a4 a1': 'left',\n",
       " 'a3 a2,a4 a1': 'down',\n",
       " 'a3 a1,a4 a1': 'down',\n",
       " 'a3 b1,a4 a1': 'down',\n",
       " 'b4 a2,a4 a1': 'up',\n",
       " 'b4 a1,a4 a1': 'up',\n",
       " 'b4 b1,a4 a1': 'stay',\n",
       " 'a4 a3,a4 a2': 'down',\n",
       " 'a4 a2,a4 a2': 'stay',\n",
       " 'a4 b2,a4 a2': 'left',\n",
       " 'a3 a2,a4 a2': 'down',\n",
       " 'a3 b2,a4 a2': 'stay',\n",
       " 'b4 a3,a4 a2': 'stay',\n",
       " 'b4 a2,a4 a2': 'up',\n",
       " 'b4 b2,a4 a2': 'up',\n",
       " 'a4 a3,a4 a3': 'down',\n",
       " 'a4 b3,a4 a3': 'down',\n",
       " 'a3 a4,a4 a3': 'left',\n",
       " 'a3 b3,a4 a3': 'left',\n",
       " 'b4 a4,a4 a3': 'up',\n",
       " 'b4 a3,a4 a3': 'stay',\n",
       " 'b4 b3,a4 a3': 'stay',\n",
       " 'a4 a6,a4 a5': 'left',\n",
       " 'a4 a5,a4 a5': 'left',\n",
       " 'a4 b5,a4 a5': 'left',\n",
       " 'a3 a6,a4 a5': 'left',\n",
       " 'a3 a5,a4 a5': 'left',\n",
       " 'a3 b5,a4 a5': 'left',\n",
       " 'b4 a6,a4 a5': 'up',\n",
       " 'b4 a5,a4 a5': 'up',\n",
       " 'b4 b5,a4 a5': 'up',\n",
       " 'a4 a6,a4 a6': 'left',\n",
       " 'a3 a6,a4 a6': 'left',\n",
       " 'b4 a6,a4 a6': 'up',\n",
       " 'a4 b1,a4 b1': 'left',\n",
       " 'a4 a1,a4 b1': 'left',\n",
       " 'a3 b1,a4 b1': 'down',\n",
       " 'a3 a1,a4 b1': 'stay',\n",
       " 'b4 b1,a4 b1': 'up',\n",
       " 'b4 a1,a4 b1': 'up',\n",
       " 'a4 b2,a4 b2': 'left',\n",
       " 'a4 a2,a4 b2': 'stay',\n",
       " 'a3 b2,a4 b2': 'stay',\n",
       " 'a3 a2,a4 b2': 'down',\n",
       " 'b4 b2,a4 b2': 'up',\n",
       " 'b4 a2,a4 b2': 'up',\n",
       " 'a4 b3,a4 b3': 'down',\n",
       " 'a4 a3,a4 b3': 'down',\n",
       " 'a3 b3,a4 b3': 'left',\n",
       " 'b4 b3,a4 b3': 'stay',\n",
       " 'b4 a3,a4 b3': 'stay',\n",
       " 'a4 b4,a4 b4': 'left',\n",
       " 'a3 b4,a4 b4': 'left',\n",
       " 'a3 a4,a4 b4': 'left',\n",
       " 'b4 a4,a4 b4': 'up',\n",
       " 'a4 b5,a4 b5': 'left',\n",
       " 'a4 a5,a4 b5': 'left',\n",
       " 'a3 b5,a4 b5': 'left',\n",
       " 'a3 a5,a4 b5': 'left',\n",
       " 'b4 b5,a4 b5': 'up',\n",
       " 'b4 a5,a4 b5': 'up',\n",
       " 'a4 b6,a4 b6': 'left',\n",
       " 'a4 a6,a4 b6': 'left',\n",
       " 'a3 b6,a4 b6': 'left',\n",
       " 'a3 a6,a4 b6': 'left',\n",
       " 'b4 b6,a4 b6': 'up',\n",
       " 'b4 a6,a4 b6': 'up',\n",
       " 'a5 a2,a5 a1': 'left',\n",
       " 'a5 a1,a5 a1': 'stay',\n",
       " 'a5 b1,a5 a1': 'left',\n",
       " 'a4 a2,a5 a1': 'stay',\n",
       " 'a4 a1,a5 a1': 'left',\n",
       " 'a4 b1,a5 a1': 'left',\n",
       " 'b5 a2,a5 a1': 'up',\n",
       " 'b5 a1,a5 a1': 'up',\n",
       " 'b5 b1,a5 a1': 'up',\n",
       " 'a5 a3,a5 a2': 'down',\n",
       " 'a5 a2,a5 a2': 'left',\n",
       " 'a5 b2,a5 a2': 'left',\n",
       " 'a4 a3,a5 a2': 'down',\n",
       " 'a4 a2,a5 a2': 'stay',\n",
       " 'a4 b2,a5 a2': 'left',\n",
       " 'b5 a3,a5 a2': 'stay',\n",
       " 'b5 a2,a5 a2': 'up',\n",
       " 'b5 b2,a5 a2': 'up',\n",
       " 'a5 a4,a5 a3': 'down',\n",
       " 'a5 a3,a5 a3': 'down',\n",
       " 'a5 b3,a5 a3': 'left',\n",
       " 'a4 a3,a5 a3': 'down',\n",
       " 'a4 b3,a5 a3': 'down',\n",
       " 'b5 a4,a5 a3': 'stay',\n",
       " 'b5 a3,a5 a3': 'up',\n",
       " 'b5 b3,a5 a3': 'up',\n",
       " 'a5 a4,a5 a4': 'down',\n",
       " 'a5 b4,a5 a4': 'down',\n",
       " 'a4 a5,a5 a4': 'left',\n",
       " 'a4 b4,a5 a4': 'left',\n",
       " 'b5 a5,a5 a4': 'up',\n",
       " 'b5 a4,a5 a4': 'stay',\n",
       " 'b5 b4,a5 a4': 'stay',\n",
       " 'a5 a6,a5 a6': 'left',\n",
       " 'a4 a6,a5 a6': 'left',\n",
       " 'b5 a6,a5 a6': 'up',\n",
       " 'a5 b1,a5 b1': 'stay',\n",
       " 'a5 a1,a5 b1': 'stay',\n",
       " 'a4 b1,a5 b1': 'left',\n",
       " 'a4 a1,a5 b1': 'left',\n",
       " 'b5 b1,a5 b1': 'up',\n",
       " 'b5 a1,a5 b1': 'up',\n",
       " 'a5 b2,a5 b2': 'left',\n",
       " 'a5 a2,a5 b2': 'left',\n",
       " 'a4 b2,a5 b2': 'left',\n",
       " 'a4 a2,a5 b2': 'stay',\n",
       " 'b5 b2,a5 b2': 'up',\n",
       " 'b5 a2,a5 b2': 'up',\n",
       " 'a5 b3,a5 b3': 'left',\n",
       " 'a5 a3,a5 b3': 'down',\n",
       " 'a4 b3,a5 b3': 'down',\n",
       " 'a4 a3,a5 b3': 'down',\n",
       " 'b5 b3,a5 b3': 'up',\n",
       " 'b5 a3,a5 b3': 'stay',\n",
       " 'a5 b4,a5 b4': 'down',\n",
       " 'a5 a4,a5 b4': 'down',\n",
       " 'a4 b4,a5 b4': 'left',\n",
       " 'b5 b4,a5 b4': 'stay',\n",
       " 'b5 a4,a5 b4': 'stay',\n",
       " 'a5 b5,a5 b5': 'left',\n",
       " 'a4 b5,a5 b5': 'left',\n",
       " 'a4 a5,a5 b5': 'left',\n",
       " 'b5 a5,a5 b5': 'up',\n",
       " 'a5 b6,a5 b6': 'left',\n",
       " 'a5 a6,a5 b6': 'left',\n",
       " 'a4 b6,a5 b6': 'left',\n",
       " 'a4 a6,a5 b6': 'left',\n",
       " 'b5 b6,a5 b6': 'up',\n",
       " 'b5 a6,a5 b6': 'up',\n",
       " 'a6 a2,a6 a1': 'left',\n",
       " 'a6 a1,a6 a1': 'left',\n",
       " 'a6 b1,a6 a1': 'left',\n",
       " 'a5 a2,a6 a1': 'left',\n",
       " 'a5 a1,a6 a1': 'stay',\n",
       " 'a5 b1,a6 a1': 'left',\n",
       " 'b6 a2,a6 a1': 'up',\n",
       " 'b6 a1,a6 a1': 'up',\n",
       " 'b6 b1,a6 a1': 'up',\n",
       " 'a6 a3,a6 a2': 'left',\n",
       " 'a6 a2,a6 a2': 'left',\n",
       " 'a6 b2,a6 a2': 'left',\n",
       " 'a5 a3,a6 a2': 'down',\n",
       " 'a5 a2,a6 a2': 'left',\n",
       " 'a5 b2,a6 a2': 'left',\n",
       " 'b6 a3,a6 a2': 'up',\n",
       " 'b6 a2,a6 a2': 'up',\n",
       " 'b6 b2,a6 a2': 'up',\n",
       " 'a6 a4,a6 a3': 'down',\n",
       " 'a6 a3,a6 a3': 'left',\n",
       " 'a6 b3,a6 a3': 'left',\n",
       " 'a5 a4,a6 a3': 'down',\n",
       " 'a5 a3,a6 a3': 'down',\n",
       " 'a5 b3,a6 a3': 'left',\n",
       " 'b6 a4,a6 a3': 'stay',\n",
       " 'b6 a3,a6 a3': 'up',\n",
       " 'b6 b3,a6 a3': 'up',\n",
       " 'a6 a5,a6 a4': 'down',\n",
       " 'a6 a4,a6 a4': 'stay',\n",
       " 'a6 b4,a6 a4': 'left',\n",
       " 'a5 a4,a6 a4': 'down',\n",
       " 'a5 b4,a6 a4': 'down',\n",
       " 'b6 a5,a6 a4': 'stay',\n",
       " 'b6 a4,a6 a4': 'up',\n",
       " 'b6 b4,a6 a4': 'up',\n",
       " 'a6 a5,a6 a5': 'down',\n",
       " 'a6 b5,a6 a5': 'down',\n",
       " 'a5 a6,a6 a5': 'left',\n",
       " 'a5 b5,a6 a5': 'left',\n",
       " 'b6 a6,a6 a5': 'stay',\n",
       " 'b6 a5,a6 a5': 'stay',\n",
       " 'b6 b5,a6 a5': 'stay',\n",
       " 'a6 b1,a6 b1': 'left',\n",
       " 'a6 a1,a6 b1': 'left',\n",
       " 'a5 b1,a6 b1': 'stay',\n",
       " 'a5 a1,a6 b1': 'stay',\n",
       " 'b6 b1,a6 b1': 'up',\n",
       " 'b6 a1,a6 b1': 'up',\n",
       " 'a6 b2,a6 b2': 'left',\n",
       " 'a6 a2,a6 b2': 'left',\n",
       " 'a5 b2,a6 b2': 'left',\n",
       " 'a5 a2,a6 b2': 'left',\n",
       " 'b6 b2,a6 b2': 'up',\n",
       " 'b6 a2,a6 b2': 'up',\n",
       " 'a6 b3,a6 b3': 'left',\n",
       " 'a6 a3,a6 b3': 'left',\n",
       " 'a5 b3,a6 b3': 'left',\n",
       " 'a5 a3,a6 b3': 'down',\n",
       " 'b6 b3,a6 b3': 'up',\n",
       " 'b6 a3,a6 b3': 'up',\n",
       " 'a6 b4,a6 b4': 'left',\n",
       " 'a6 a4,a6 b4': 'stay',\n",
       " 'a5 b4,a6 b4': 'down',\n",
       " 'a5 a4,a6 b4': 'down',\n",
       " 'b6 b4,a6 b4': 'up',\n",
       " 'b6 a4,a6 b4': 'stay',\n",
       " 'a6 b5,a6 b5': 'down',\n",
       " 'a6 a5,a6 b5': 'down',\n",
       " 'a5 b5,a6 b5': 'left',\n",
       " 'b6 b5,a6 b5': 'stay',\n",
       " 'b6 a5,a6 b5': 'stay',\n",
       " 'a6 b6,a6 b6': 'left',\n",
       " 'a5 b6,a6 b6': 'left',\n",
       " 'a5 a6,a6 b6': 'left',\n",
       " 'b6 a6,a6 b6': 'stay',\n",
       " 'b1 a2,b1 a1': 'up',\n",
       " 'b1 a1,b1 a1': 'up',\n",
       " 'b1 a3,b1 a2': 'up',\n",
       " 'b1 a2,b1 a2': 'up',\n",
       " 'b1 b2,b1 a2': 'up',\n",
       " 'b1 a4,b1 a3': 'up',\n",
       " 'b1 a3,b1 a3': 'up',\n",
       " 'b1 b3,b1 a3': 'up',\n",
       " 'b1 a5,b1 a4': 'stay',\n",
       " 'b1 a4,b1 a4': 'up',\n",
       " 'b1 b4,b1 a4': 'up',\n",
       " 'b1 a6,b1 a5': 'up',\n",
       " 'b1 a5,b1 a5': 'stay',\n",
       " 'b1 b5,b1 a5': 'up',\n",
       " 'b1 a6,b1 a6': 'up',\n",
       " 'b1 b2,b1 b2': 'up',\n",
       " 'b1 a2,b1 b2': 'up',\n",
       " 'b1 b3,b1 b3': 'up',\n",
       " 'b1 a3,b1 b3': 'up',\n",
       " 'b1 b4,b1 b4': 'up',\n",
       " 'b1 a4,b1 b4': 'up',\n",
       " 'b1 b5,b1 b5': 'up',\n",
       " 'b1 a5,b1 b5': 'stay',\n",
       " 'b1 b6,b1 b6': 'stay',\n",
       " 'b1 a6,b1 b6': 'up',\n",
       " 'a2 a1,b2 a1': 'down',\n",
       " 'a2 b1,b2 a1': 'down',\n",
       " 'b2 a2,b2 a1': 'up',\n",
       " 'b2 a1,b2 a1': 'stay',\n",
       " 'b2 b1,b2 a1': 'stay',\n",
       " 'a2 a3,b2 a2': 'left',\n",
       " 'a2 b2,b2 a2': 'left',\n",
       " 'b2 a3,b2 a2': 'up',\n",
       " 'b2 a2,b2 a2': 'up',\n",
       " 'a2 a4,b2 a3': 'left',\n",
       " 'a2 a3,b2 a3': 'left',\n",
       " 'a2 b3,b2 a3': 'left',\n",
       " 'b2 a4,b2 a3': 'up',\n",
       " 'b2 a3,b2 a3': 'up',\n",
       " 'b2 b3,b2 a3': 'up',\n",
       " 'a2 a5,b2 a4': 'stay',\n",
       " 'a2 a4,b2 a4': 'left',\n",
       " 'a2 b4,b2 a4': 'left',\n",
       " 'b2 a5,b2 a4': 'up',\n",
       " 'b2 a4,b2 a4': 'up',\n",
       " 'b2 b4,b2 a4': 'up',\n",
       " 'a2 a6,b2 a5': 'left',\n",
       " 'a2 a5,b2 a5': 'stay',\n",
       " 'a2 b5,b2 a5': 'left',\n",
       " 'b2 a6,b2 a5': 'up',\n",
       " 'b2 a5,b2 a5': 'up',\n",
       " 'b2 b5,b2 a5': 'up',\n",
       " 'a2 a6,b2 a6': 'left',\n",
       " 'b2 a6,b2 a6': 'up',\n",
       " 'a2 b1,b2 b1': 'down',\n",
       " 'a2 a1,b2 b1': 'down',\n",
       " 'b2 b1,b2 b1': 'up',\n",
       " 'b2 a1,b2 b1': 'stay',\n",
       " 'a2 b3,b2 b3': 'left',\n",
       " 'a2 a3,b2 b3': 'left',\n",
       " 'b2 b3,b2 b3': 'up',\n",
       " 'b2 a3,b2 b3': 'up',\n",
       " 'a2 b4,b2 b4': 'left',\n",
       " 'a2 a4,b2 b4': 'left',\n",
       " 'b2 b4,b2 b4': 'up',\n",
       " 'b2 a4,b2 b4': 'up',\n",
       " 'a2 b5,b2 b5': 'left',\n",
       " 'a2 a5,b2 b5': 'stay',\n",
       " 'b2 b5,b2 b5': 'up',\n",
       " 'b2 a5,b2 b5': 'up',\n",
       " 'a2 b6,b2 b6': 'stay',\n",
       " 'a2 a6,b2 b6': 'left',\n",
       " 'b2 b6,b2 b6': 'up',\n",
       " 'b2 a6,b2 b6': 'up',\n",
       " 'a3 a2,b3 a1': 'down',\n",
       " 'a3 a1,b3 a1': 'down',\n",
       " 'a3 b1,b3 a1': 'down',\n",
       " 'b3 a2,b3 a1': 'stay',\n",
       " 'b3 a1,b3 a1': 'up',\n",
       " 'b3 b1,b3 a1': 'up',\n",
       " 'a3 a2,b3 a2': 'down',\n",
       " 'a3 b2,b3 a2': 'stay',\n",
       " 'b3 a3,b3 a2': 'up',\n",
       " 'b3 a2,b3 a2': 'stay',\n",
       " 'b3 b2,b3 a2': 'stay',\n",
       " 'a3 a4,b3 a3': 'left',\n",
       " 'a3 b3,b3 a3': 'left',\n",
       " 'b3 a4,b3 a3': 'up',\n",
       " 'b3 a3,b3 a3': 'up',\n",
       " 'a3 a5,b3 a4': 'left',\n",
       " 'a3 a4,b3 a4': 'left',\n",
       " 'a3 b4,b3 a4': 'left',\n",
       " 'b3 a5,b3 a4': 'up',\n",
       " 'b3 a4,b3 a4': 'up',\n",
       " 'b3 b4,b3 a4': 'up',\n",
       " 'a3 a6,b3 a5': 'left',\n",
       " 'a3 a5,b3 a5': 'left',\n",
       " 'a3 b5,b3 a5': 'left',\n",
       " 'b3 a6,b3 a5': 'up',\n",
       " 'b3 a5,b3 a5': 'up',\n",
       " 'b3 b5,b3 a5': 'up',\n",
       " 'a3 a6,b3 a6': 'left',\n",
       " 'b3 a6,b3 a6': 'up',\n",
       " 'a3 b1,b3 b1': 'down',\n",
       " 'a3 a1,b3 b1': 'stay',\n",
       " 'b3 b1,b3 b1': 'up',\n",
       " 'b3 a1,b3 b1': 'stay',\n",
       " 'a3 b2,b3 b2': 'stay',\n",
       " 'a3 a2,b3 b2': 'down',\n",
       " 'b3 b2,b3 b2': 'up',\n",
       " 'b3 a2,b3 b2': 'stay',\n",
       " 'a3 b4,b3 b4': 'left',\n",
       " 'a3 a4,b3 b4': 'left',\n",
       " 'b3 b4,b3 b4': 'up',\n",
       " 'b3 a4,b3 b4': 'up',\n",
       " 'a3 b5,b3 b5': 'left',\n",
       " 'a3 a5,b3 b5': 'left',\n",
       " 'b3 b5,b3 b5': 'up',\n",
       " 'b3 a5,b3 b5': 'up',\n",
       " 'a3 b6,b3 b6': 'left',\n",
       " 'a3 a6,b3 b6': 'left',\n",
       " 'b3 b6,b3 b6': 'up',\n",
       " 'b3 a6,b3 b6': 'up',\n",
       " 'a4 a2,b4 a1': 'stay',\n",
       " 'a4 a1,b4 a1': 'left',\n",
       " 'a4 b1,b4 a1': 'left',\n",
       " 'b4 a2,b4 a1': 'up',\n",
       " 'b4 a1,b4 a1': 'up',\n",
       " 'b4 b1,b4 a1': 'up',\n",
       " 'a4 a3,b4 a2': 'down',\n",
       " 'a4 a2,b4 a2': 'stay',\n",
       " 'a4 b2,b4 a2': 'left',\n",
       " 'b4 a3,b4 a2': 'stay',\n",
       " 'b4 a2,b4 a2': 'up',\n",
       " 'b4 b2,b4 a2': 'up',\n",
       " 'a4 a3,b4 a3': 'down',\n",
       " 'a4 b3,b4 a3': 'down',\n",
       " 'b4 a4,b4 a3': 'up',\n",
       " 'b4 a3,b4 a3': 'stay',\n",
       " 'b4 b3,b4 a3': 'stay',\n",
       " 'a4 a5,b4 a4': 'left',\n",
       " 'a4 b4,b4 a4': 'left',\n",
       " 'b4 a5,b4 a4': 'up',\n",
       " 'b4 a4,b4 a4': 'stay',\n",
       " 'a4 a6,b4 a5': 'left',\n",
       " 'a4 a5,b4 a5': 'left',\n",
       " 'a4 b5,b4 a5': 'left',\n",
       " 'b4 a6,b4 a5': 'up',\n",
       " 'b4 a5,b4 a5': 'up',\n",
       " 'b4 b5,b4 a5': 'up',\n",
       " 'a4 a6,b4 a6': 'left',\n",
       " 'b4 a6,b4 a6': 'up',\n",
       " 'a4 b1,b4 b1': 'left',\n",
       " 'a4 a1,b4 b1': 'left',\n",
       " 'b4 b1,b4 b1': 'stay',\n",
       " 'b4 a1,b4 b1': 'up',\n",
       " 'a4 b2,b4 b2': 'left',\n",
       " 'a4 a2,b4 b2': 'stay',\n",
       " 'b4 b2,b4 b2': 'up',\n",
       " 'b4 a2,b4 b2': 'up',\n",
       " 'a4 b3,b4 b3': 'down',\n",
       " 'a4 a3,b4 b3': 'down',\n",
       " 'b4 b3,b4 b3': 'stay',\n",
       " 'b4 a3,b4 b3': 'stay',\n",
       " 'a4 b5,b4 b5': 'left',\n",
       " 'a4 a5,b4 b5': 'left',\n",
       " 'b4 b5,b4 b5': 'up',\n",
       " 'b4 a5,b4 b5': 'up',\n",
       " 'a4 b6,b4 b6': 'left',\n",
       " 'a4 a6,b4 b6': 'left',\n",
       " 'b4 b6,b4 b6': 'up',\n",
       " 'b4 a6,b4 b6': 'up',\n",
       " 'a5 a2,b5 a1': 'left',\n",
       " 'a5 a1,b5 a1': 'stay',\n",
       " 'a5 b1,b5 a1': 'left',\n",
       " 'b5 a2,b5 a1': 'up',\n",
       " 'b5 a1,b5 a1': 'up',\n",
       " 'b5 b1,b5 a1': 'up',\n",
       " 'a5 a3,b5 a2': 'stay',\n",
       " 'a5 a2,b5 a2': 'left',\n",
       " 'a5 b2,b5 a2': 'left',\n",
       " 'b5 a3,b5 a2': 'up',\n",
       " 'b5 a2,b5 a2': 'up',\n",
       " 'b5 b2,b5 a2': 'up',\n",
       " 'a5 a4,b5 a3': 'down',\n",
       " 'a5 a3,b5 a3': 'stay',\n",
       " 'a5 b3,b5 a3': 'left',\n",
       " 'b5 a4,b5 a3': 'stay',\n",
       " 'b5 a3,b5 a3': 'up',\n",
       " 'b5 b3,b5 a3': 'up',\n",
       " 'a5 a4,b5 a4': 'down',\n",
       " 'a5 b4,b5 a4': 'down',\n",
       " 'b5 a5,b5 a4': 'up',\n",
       " 'b5 a4,b5 a4': 'stay',\n",
       " 'b5 b4,b5 a4': 'stay',\n",
       " 'a5 a6,b5 a5': 'left',\n",
       " 'a5 b5,b5 a5': 'left',\n",
       " 'b5 a6,b5 a5': 'up',\n",
       " 'b5 a5,b5 a5': 'up',\n",
       " 'a5 a6,b5 a6': 'left',\n",
       " 'b5 a6,b5 a6': 'up',\n",
       " 'a5 b1,b5 b1': 'stay',\n",
       " 'a5 a1,b5 b1': 'stay',\n",
       " 'b5 b1,b5 b1': 'up',\n",
       " 'b5 a1,b5 b1': 'up',\n",
       " 'a5 b2,b5 b2': 'left',\n",
       " 'a5 a2,b5 b2': 'left',\n",
       " 'b5 b2,b5 b2': 'up',\n",
       " 'b5 a2,b5 b2': 'up',\n",
       " 'a5 b3,b5 b3': 'left',\n",
       " 'a5 a3,b5 b3': 'down',\n",
       " 'b5 b3,b5 b3': 'up',\n",
       " 'b5 a3,b5 b3': 'stay',\n",
       " 'a5 b4,b5 b4': 'down',\n",
       " 'a5 a4,b5 b4': 'down',\n",
       " 'b5 b4,b5 b4': 'stay',\n",
       " 'b5 a4,b5 b4': 'stay',\n",
       " 'a5 b6,b5 b6': 'left',\n",
       " 'a5 a6,b5 b6': 'left',\n",
       " 'b5 b6,b5 b6': 'up',\n",
       " 'b5 a6,b5 b6': 'up',\n",
       " 'a6 a2,b6 a1': 'left',\n",
       " 'a6 a1,b6 a1': 'left',\n",
       " 'a6 b1,b6 a1': 'left',\n",
       " 'b6 a2,b6 a1': 'up',\n",
       " 'b6 a1,b6 a1': 'up',\n",
       " 'b6 b1,b6 a1': 'up',\n",
       " 'a6 a3,b6 a2': 'left',\n",
       " 'a6 a2,b6 a2': 'left',\n",
       " 'a6 b2,b6 a2': 'left',\n",
       " 'b6 a3,b6 a2': 'up',\n",
       " 'b6 a2,b6 a2': 'up',\n",
       " 'b6 b2,b6 a2': 'up',\n",
       " 'a6 a4,b6 a3': 'stay',\n",
       " 'a6 a3,b6 a3': 'left',\n",
       " 'a6 b3,b6 a3': 'left',\n",
       " 'b6 a4,b6 a3': 'stay',\n",
       " 'b6 a3,b6 a3': 'up',\n",
       " 'b6 b3,b6 a3': 'up',\n",
       " 'a6 a5,b6 a4': 'down',\n",
       " 'a6 a4,b6 a4': 'stay',\n",
       " 'a6 b4,b6 a4': 'left',\n",
       " 'b6 a5,b6 a4': 'stay',\n",
       " 'b6 a4,b6 a4': 'stay',\n",
       " 'b6 b4,b6 a4': 'up',\n",
       " 'a6 a5,b6 a5': 'down',\n",
       " 'a6 b5,b6 a5': 'down',\n",
       " 'b6 a6,b6 a5': 'stay',\n",
       " 'b6 a5,b6 a5': 'stay',\n",
       " 'b6 b5,b6 a5': 'stay',\n",
       " 'b6 a6,b6 a6': 'stay',\n",
       " 'a6 b1,b6 b1': 'left',\n",
       " 'a6 a1,b6 b1': 'left',\n",
       " 'b6 b1,b6 b1': 'up',\n",
       " 'b6 a1,b6 b1': 'up',\n",
       " 'a6 b2,b6 b2': 'left',\n",
       " 'a6 a2,b6 b2': 'left',\n",
       " 'b6 b2,b6 b2': 'up',\n",
       " 'b6 a2,b6 b2': 'up',\n",
       " 'a6 b3,b6 b3': 'left',\n",
       " 'a6 a3,b6 b3': 'left',\n",
       " 'b6 b3,b6 b3': 'up',\n",
       " 'b6 a3,b6 b3': 'up',\n",
       " 'a6 b4,b6 b4': 'left',\n",
       " 'a6 a4,b6 b4': 'stay',\n",
       " 'b6 b4,b6 b4': 'up',\n",
       " 'b6 a4,b6 b4': 'up',\n",
       " 'a6 b5,b6 b5': 'down',\n",
       " 'a6 a5,b6 b5': 'down',\n",
       " 'b6 b5,b6 b5': 'stay',\n",
       " 'b6 a5,b6 b5': 'stay',\n",
       " 'a6 a1,a-9 a-9': 'left'}"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bestBeta_optimal_policy, bestBeta_optimal_V = convertStates(policy)\n",
    "bestBeta_optimal_policy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "bestBeta_eval = policy_eval(policy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "def extend_policy(policy):\n",
    "    # take policy without velocity and convert it to policy with velocity\n",
    "    policy_with_velocity = {}\n",
    "    for ((i,j),(l,k)) in actions.keys():\n",
    "        policy_with_velocity[((i,j),(l,k))] = policy[(i,j)]\n",
    "    return policy_with_velocity"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "careful_eval_v2 = policy_eval(extend_policy(careful_policy))\n",
    "random_eval_v2 = policy_eval(extend_policy(random_policy))\n",
    "aggressive_eval_v2 = policy_eval(extend_policy(aggressive_policy))\n",
    "semiAggressive_eval_v2 = policy_eval(extend_policy(semiAggressive_policy))\n",
    "semiCareful_eval_v2 = policy_eval(extend_policy(semiCareful_policy))\n",
    "# valueIteration_eval_v2 = policy_eval(extend_policy(valueIteration_policy))\n",
    "# [((5,0),(-10,-10))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.5155533583054541"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "VI_without_velocity_eval = policy_eval(VI_without_velocity)\n",
    "VI_without_velocity_eval[((5,0),(-10,-10))]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "merge base v2 with v2.1:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [],
   "source": [
    "ch_index = list(df.loc[df['answer-the-quiz'].notnull()].loc[df['behavior'] == 'valueIterationBasedBehavior_v2.1', ['behavior']].index)\n",
    "df.loc[ch_index, ['behavior']] = 'valueIterationBasedBehavior_v2'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>blueScore</th>\n",
       "      <th>redScore</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>behavior</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>aggressiveBehavior</th>\n",
       "      <td>-16.28</td>\n",
       "      <td>-18.40</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>carefulBehavior</th>\n",
       "      <td>11.79</td>\n",
       "      <td>14.33</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>randomBehavior</th>\n",
       "      <td>-72.29</td>\n",
       "      <td>-71.51</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiAggressiveBehavior</th>\n",
       "      <td>-61.91</td>\n",
       "      <td>-63.03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiCarefulBehavior</th>\n",
       "      <td>-4.86</td>\n",
       "      <td>-3.25</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>valueIterationBasedBehavior_v2</th>\n",
       "      <td>-5.33</td>\n",
       "      <td>-6.03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>valueIterationBasedBehavior_v2.1</th>\n",
       "      <td>-6.34</td>\n",
       "      <td>-9.03</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                  blueScore  redScore\n",
       "behavior                                             \n",
       "aggressiveBehavior                   -16.28    -18.40\n",
       "carefulBehavior                       11.79     14.33\n",
       "randomBehavior                       -72.29    -71.51\n",
       "semiAggressiveBehavior               -61.91    -63.03\n",
       "semiCarefulBehavior                   -4.86     -3.25\n",
       "valueIterationBasedBehavior_v2        -5.33     -6.03\n",
       "valueIterationBasedBehavior_v2.1      -6.34     -9.03"
      ]
     },
     "execution_count": 64,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.groupby(['behavior']).mean()[['blueScore', 'redScore']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Real</th>\n",
       "      <th>Prediction</th>\n",
       "      <th>Prediction with velocity</th>\n",
       "      <th>different</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>aggressiveBehavior</th>\n",
       "      <td>-16.28</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-6.21</td>\n",
       "      <td>10.07</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>randomBehavior</th>\n",
       "      <td>-72.29</td>\n",
       "      <td>NaN</td>\n",
       "      <td>-145.47</td>\n",
       "      <td>73.18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiAggressiveBehavior</th>\n",
       "      <td>-61.91</td>\n",
       "      <td>1.14</td>\n",
       "      <td>-56.47</td>\n",
       "      <td>5.44</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>semiCarefulBehavior</th>\n",
       "      <td>-4.86</td>\n",
       "      <td>-171.22</td>\n",
       "      <td>-14.41</td>\n",
       "      <td>9.55</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>valueIterationBasedBehavior_v2</th>\n",
       "      <td>-6.00</td>\n",
       "      <td>-47.81</td>\n",
       "      <td>14.47</td>\n",
       "      <td>20.47</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Altruist VI</th>\n",
       "      <td>NaN</td>\n",
       "      <td>-4.21</td>\n",
       "      <td>-199.98</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Beta VI</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>7.55</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Social VI</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>12.34</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                 Real  Prediction  Prediction with velocity  \\\n",
       "aggressiveBehavior             -16.28         NaN                     -6.21   \n",
       "randomBehavior                 -72.29         NaN                   -145.47   \n",
       "semiAggressiveBehavior         -61.91        1.14                    -56.47   \n",
       "semiCarefulBehavior             -4.86     -171.22                    -14.41   \n",
       "valueIterationBasedBehavior_v2  -6.00      -47.81                     14.47   \n",
       "Altruist VI                       NaN       -4.21                   -199.98   \n",
       "Beta VI                           NaN         NaN                      7.55   \n",
       "Social VI                         NaN         NaN                     12.34   \n",
       "\n",
       "                                different  \n",
       "aggressiveBehavior                  10.07  \n",
       "randomBehavior                      73.18  \n",
       "semiAggressiveBehavior               5.44  \n",
       "semiCarefulBehavior                  9.55  \n",
       "valueIterationBasedBehavior_v2      20.47  \n",
       "Altruist VI                           NaN  \n",
       "Beta VI                               NaN  \n",
       "Social VI                             NaN  "
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "start_state = ((5,0),(-10,-10))\n",
    "real_col = df.groupby(['behavior']).mean()['blueScore'].drop(['carefulBehavior'])\n",
    "real_col_new = real_col.append(pd.Series([np.NaN, np.NaN, np.NaN], index=['Altruist VI', 'Beta VI', 'Social VI']))\n",
    "diff = pd.DataFrame({'Real': real_col_new,\n",
    "                      'Prediction': [np.NaN,np.NaN, aggressive_intensity[5][0], randomBehavior_intensity[5][0], semiAggressive_intensity[5][0], semiCareful_intensity[5][0] , np.NaN, np.NaN],\n",
    "                     'Prediction with velocity': [aggressive_eval_v2[start_state], random_eval_v2[start_state], semiAggressive_eval_v2[start_state], semiCareful_eval_v2[start_state], VIbase_eval[start_state], altruist_eval[start_state], bestBeta_eval[start_state], social_eval[start_state]]},\n",
    "                     index= real_col_new.index)\n",
    "diff['different'] = abs(diff['Real']-diff['Prediction with velocity'])\n",
    "diff"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# push to firebase:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pyrebase\n",
    "\n",
    "firebaseConfig = {\n",
    "    \"apiKey\": \"AIzaSyDROtt5r3t5VL_iPabcgVgsWmUZHMw7Pv8\",\n",
    "    \"authDomain\": \"road-game.firebaseapp.com\",\n",
    "    \"databaseURL\": \"https://road-game-default-rtdb.firebaseio.com\",\n",
    "    \"projectId\": \"road-game\",\n",
    "    \"storageBucket\": \"road-game.appspot.com\",\n",
    "    \"messagingSenderId\": \"14363967441\",\n",
    "    \"appId\": \"1:14363967441:web:9efd1c7c3db93ab12ceaf0\"\n",
    "  }\n",
    "\n",
    "firebase=pyrebase.initialize_app(firebaseConfig)\n",
    "\n",
    "db=firebase.database()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "try:\n",
    "    db.child(\"valueIterationBasedBehavior_v2\").set(VIbase_optimal_policy)\n",
    "    \n",
    "    db.child(\"Social VI\").set(social_optimal_policy)\n",
    "    \n",
    "    db.child(\"Altruist VI\").set(altruist_optimal_policy)\n",
    "    \n",
    "    db.child(\"BestBeta VI\").set(bestBeta_optimal_policy)\n",
    "except Exception as err:\n",
    "    print(err)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}