operations.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "5ec6600d",
   "metadata": {},
   "source": [
    "# Operações de mutação\n",
    "Após executar o notebook de **classificação**, podemos realizar operações de mutação no texto para verificar qual impacto elas têm na classificação dos níveis de dificuldade do texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "98929091",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import random\n",
    "\n",
    "random.seed(8)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2aca7689",
   "metadata": {},
   "source": [
    "## Leitura dos dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "5e663a5b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>id</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>207_765</th>\n",
       "      <td>nada impede, no entanto, que sejam substituído...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>232_790</th>\n",
       "      <td>e muitas palavras faladas por esses povos fora...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39_347</th>\n",
       "      <td>sete séculos antes do nascimento de cristo, o ...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48_379</th>\n",
       "      <td>voar sempre foi um dos grandes sonhos da human...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>73_629</th>\n",
       "      <td>para os bolsos de seus senhores, é claro. você...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                      text  label\n",
       "id                                                               \n",
       "207_765  nada impede, no entanto, que sejam substituído...      1\n",
       "232_790  e muitas palavras faladas por esses povos fora...      1\n",
       "39_347   sete séculos antes do nascimento de cristo, o ...      1\n",
       "48_379   voar sempre foi um dos grandes sonhos da human...      1\n",
       "73_629   para os bolsos de seus senhores, é claro. você...      1"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Read dataset into Pandas DataFrame\n",
    "df = pd.read_csv('dataset.csv', index_col='id')\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "4e8e1bef",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[nltk_data] Downloading package wordnet to /home/caio/nltk_data...\n",
      "[nltk_data]   Package wordnet is already up-to-date!\n",
      "[nltk_data] Downloading package omw-1.4 to /home/caio/nltk_data...\n",
      "[nltk_data]   Package omw-1.4 is already up-to-date!\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# download nltk required packages\n",
    "import nltk\n",
    "nltk.download('wordnet')\n",
    "nltk.download('omw-1.4')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "d29b2b4b",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pickle\n",
    "import os\n",
    "from src.CustomPortugueseLemmatizer import CustomPortugueseLemmatizer\n",
    "\n",
    "path = 'pickle'\n",
    "if os.path.isdir(path):\n",
    "    # Read the Naive Bayes classifier from pickle\n",
    "    with open(f'{path}/pipeline_NB.pickle', 'rb') as nb_pickle:\n",
    "        pipeNB = pickle.load(nb_pickle)\n",
    "\n",
    "    # Read the SVC classifier from pickle\n",
    "    with open(f'{path}/pipeline_SVC.pickle', 'rb') as svc_pickle:\n",
    "        pipeSVC = pickle.load(svc_pickle)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "93183980",
   "metadata": {},
   "source": [
    "## Troca de palavras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "ad334c82",
   "metadata": {},
   "outputs": [],
   "source": [
    "from nltk.corpus import wordnet \n",
    "\n",
    "def get_synonyms(word):\n",
    "    \"\"\"\n",
    "    Get synonyms of a word\n",
    "    \"\"\"\n",
    "    synonyms = set()\n",
    "    \n",
    "    for syn in wordnet.synsets(word, lang='por'): \n",
    "        for l in syn.lemmas(lang='por'): \n",
    "            synonym = l.name().replace(\"_\", \" \").replace(\"-\", \" \").lower()\n",
    "            synonym = \"\".join([char for char in synonym if char in ' qwertyuiopasdfghjklçzxcvbnmáàãâéêíóõôúü'])\n",
    "            synonyms.add(synonym) \n",
    "    \n",
    "    if word in synonyms:\n",
    "        synonyms.remove(word)\n",
    "    \n",
    "    return list(synonyms)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "02551369",
   "metadata": {},
   "outputs": [],
   "source": [
    "def synonym_replacement(words, stop_words, n):\n",
    "    if n <= 0: # no word to replace, return the original text\n",
    "        return words\n",
    "        \n",
    "    words = words.split()\n",
    "\n",
    "    new_words = words.copy()\n",
    "    random_word_list = list(set([word for word in words if word not in stop_words]))\n",
    "    random.shuffle(random_word_list)\n",
    "    num_replaced = 0\n",
    "    \n",
    "    for random_word in random_word_list:\n",
    "        synonyms = get_synonyms(random_word)\n",
    "        \n",
    "        if len(synonyms) >= 1:\n",
    "            synonym = random.choice(list(synonyms))\n",
    "            new_words = [synonym if word == random_word else word for word in new_words]\n",
    "            num_replaced += 1\n",
    "        \n",
    "        if num_replaced >= n: #only replace up to n words\n",
    "            break\n",
    "\n",
    "    sentence = ' '.join(new_words)\n",
    "\n",
    "    return sentence"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "76c074bc",
   "metadata": {},
   "source": [
    "### Teste com um texto exemplo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "5ebe8ddd",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import train_test_split\n",
    "\n",
    "X = df['text']\n",
    "y = df['label']\n",
    "X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=32)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "6b46fc84",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "a prostituição é uma atividade antiquíssima e que sempre encontra espaço nas sociedades. em geral, os clientes procuram esse tipo de profissional porque têm dificuldades de conseguir parceiros sexuais ou então para procurar diversidade em seus relacionamentos sexuais. porém, em termos psicológicos, geralmente é uma relação desprovida de afeto. e o sexo, dizem as pesquisas, é mais gratificante quando expressa um real sentimento entre os parceiros. durante a relação sexual, são comuns os gritos, gemidos, sussurros e palavreados obscenos, supostamente denotando excitação sexual. porém estudos recentes indicam que, na maioria das vezes, tal comportamento não reflete real excitação sexual, mas apenas o desejo de estimular sexualmente o parceiro. existem uma diferenciação no papel de cada gênero sexual dentro da relação afetiva. estudos indicam, por exemplo, que um casamento tem mais chances de ser bem-sucedido se a mulher for mais inteligente, mais jovem ou mais feliz com a relação que o homem. ou se o homem adotar uma atitude protetora diante da mulher. ou seja, a união ideal implica em papéis específicos para cada gênero sexual dentro da relação. pesquisas descobriram que a traição é maior em mulheres mais ricas e em homens dependentes financeiramente de suas mulheres. o que comprova a diferenciação sexual dos gêneros, pois demonstra a insatisfação do homem, quando colocado numa posição dependente em relação à mulher. de modo análogo, a mulher costuma demonstrar insatisfação quando o homem está numa posição dependente. pesquisas indicam que a atividade sexual do casal tende a diminuir com o passar dos anos, fruto da monotonia da vida conjugal. para revalorizar as relações entre os parceiros, especialistas recomendam investir mais tempo e cuidado na relação, através de: preocupação com os problemas do parceiro, viagens de férias e passeios sem a presença de outras pessoas, elogios sinceros ao parceiro, relações sexuais com ingredientes que quebrem a rotina, como óleos de massagem, fantasias sexuais, sexo inesperado etc..\n"
     ]
    }
   ],
   "source": [
    "# Retrieve the last text from the test set\n",
    "text = X_test.iloc[-1]\n",
    "print(text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "e274316b",
   "metadata": {},
   "outputs": [],
   "source": [
    "import spacy\n",
    "\n",
    "spacy_nlp = spacy.load(\"pt_core_news_sm\")\n",
    "stop_words = spacy_nlp.Defaults.stop_words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "5a1fedca",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "a prostituição é uma ação antiquíssima e que sempre encontra espaço nas sociedades. em geral, os clientes procuram esse tipo de quem pratica uma profissão porque têm dificuldades de ser bem sucedidos parceiros sexuais ou então para revistar diversidade em seus relacionamentos sexuais. porém, em termos psicológicos, generalmente é uma relação desprovida de afeto. e o sexo, dizem as pesquisas, é mais gratificante quando expressa um atual abalo entre os parceiros. durante a relação sexual, são comuns os gritos, gemidos, sussurros e palavreados obscenos, pretensamente denotando emoção sexual. porém estudos recentes indicam que, na maioria das vezes, tal maneira não reflete atual emoção sexual, mas apenas o pretensão de propulsar sexualmente o parceiro. existem uma diferenciação biologia no folha de cada género sexual dentro da relação afetiva. estudos indicam, por exemplo, que um matrimônio tem mais chance de ser bem sucedido se a dama for mais inteligente, mais garina ou mais jovial com a relação que o homem. ou se o mundo adoptar uma postura protetora diante da mulher. ou seja, a república ideal implica em papéis específicos para cada género sexual dentro da relação. pesquisas descobriram que a traidor é maior em mulheres mais ricas e em mão de obra dependentes financeiramente de suas mulheres. o que comprova a diferenciação biologia sexual dos gêneros, pois demonstra a insatisfação do homem, quando sito numa posição cofidente em relação à mulher. de modalidade análogo, a dama costuma mostrar insatisfação quando o mundo está numa posição dependente. pesquisas indicam que a ação sexual do conúbio tende a baixar com o atravessar dos anos, produto da monotonia da dia a dia conjugal. para revalorizar as relações entre os parceiros, especialistas recomendam inverter mais tempo e auspício na relação, através de: fardo com os problema do parceiro, viagens de sueto e passeios sem a comparecimento de outras pessoas, elogios sinceros ao parceiro, relações sexuais com ingredientes que quebrem a rotina, como óleo de massagem, fantasias sexuais, sexualidade insólito etc..\n"
     ]
    }
   ],
   "source": [
    "sentence = synonym_replacement(text, stop_words, len(text.split()) * 0.5)\n",
    "print(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "356d503b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Naive Bayes label: [4]\n",
      "SVC label: [3]\n",
      "Correct label: 3\n"
     ]
    }
   ],
   "source": [
    "# Create list of texts to predict\n",
    "X_eval = [text]\n",
    "label_NB = pipeNB.predict(X_eval)\n",
    "label_SVC = pipeSVC.predict(X_eval)\n",
    "\n",
    "print(f'Naive Bayes label: {label_NB}')\n",
    "print(f'SVC label: {label_SVC}')\n",
    "print(f'Correct label: {y_test[-1]}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f0b4e0db",
   "metadata": {},
   "source": [
    "### Avaliação da influência da troca de palavras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "20ec10ff",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "555d2b94",
   "metadata": {},
   "outputs": [],
   "source": [
    "accuracy_NB = []\n",
    "accuracy_SVC = []\n",
    "\n",
    "percentage_range = np.arange(0, 1, step=0.05)\n",
    "for percent in percentage_range:\n",
    "    X_test_syn  = [synonym_replacement(text, len(text.split()) * percent) for text in X_test]\n",
    "    \n",
    "    predictions_NB = pipeNB.predict(X_test_syn)\n",
    "    accuracy_NB.append(accuracy_score(y_test, predictions_NB))\n",
    "    predictions_SVC = pipeSVC.predict(X_test_syn)\n",
    "    accuracy_SVC.append(accuracy_score(y_test, predictions_SVC))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "44f4d131",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEGCAYAAAB/+QKOAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjIsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+WH4yJAAAgAElEQVR4nO3deXxV1b3//9cnM5AEAgSQMYjMICkErNerglbEttZa9Qq2tdoqtQ69+mtt7e3vtl776Fe/t7fXTvbiUGtttbRVqdjbimhVrAMSMMgkgxgghHlMAgkZPt8/9k5yCBs4QE4Skvfz8TiP5Oy99t6ffSD7c9baa69l7o6IiEhTSa0dgIiItE1KECIiEkkJQkREIilBiIhIJCUIERGJlNLaATSnnj17el5eXmuHISJy2li8ePFOd8+NWteuEkReXh6FhYWtHYaIyGnDzDYcbZ2amEREJJIShIiIRFKCEBGRSEoQIiISSQlCREQiKUGIiEgkJQgREYnUrp6DOG3UVsP+UthXErzKtsDg86HfhNaOTESkQUIThJlNA34KJAOPufsDTdbnAI8DQ4BK4MvuvjxcVwyUAbVAjbsXJDLWZuMOB3bDvk2NCWB/SePv+0qgbCvQZB4OS4LzvwkXfguSU1sldBGRWAlLEGaWDDwEXAKUAIvMbK67r4wp9m9AkbtfaWYjwvIXx6yf4u47ExXjMbnDoQqo2g+V+2N+7mt8X1XW+HvZljABbIaag4fvKzkduvYPXkMuhq79Gt93HQDp2fDy92HBf8K6+fC5R6Hn0FY5bRGReomsQUwC1rn7egAzmw1cAcQmiFHA/QDu/oGZ5ZlZb3fflsC4jjT783BwT5MEUAZee+ztLAnSs4ILfGZv6D0Ghk2LufiHCaBzDzA79r6unBVs+5c7Ydb5MPUHMPGm428nIpIgiUwQ/YBNMe9LgHOalFkKfA74h5lNAgYB/YFtBG0wL5mZAw+7+yNRBzGzmcBMgIEDB55cpAf3AAbdBkD6aMjIDi76GdmNCSCja8yy8GdaZvNewEd/FgacA8/fBn/9JqyZB1f8ArL6NN8xRETilMgEEXXlbDoB9gPAT82sCFgGvAfUhOvOc/dSM+sFzDezD9x9wRE7DBLHIwAFBQUnN8H2jX89qc0SIvsM+MKz8O6jMP/f4Zfnwmd+BiMvb+3IRKSDSWQ31xJgQMz7/kBpbAF33+/uN7p7PnA9kAt8FK4rDX9uB+YQNFl1DGZwzkz46hvQbSD84Qvw59uCpi8RkRaSyASxCBhqZoPNLA2YDsyNLWBm3cJ1ADcBC9x9v5l1MbOssEwXYCqwPIGxtk25w+Ar84PeTUufhlnnwYa3Wzuq5ldXG3QKkNNTXS3U1bV2FJIACWticvcaM7sdmEfQzfVxd19hZreE62cBI4EnzayW4Ob1V8LNewNzLGjfTwGedvcXExVrm5aSBhf/Owy9BOZ8FZ74JJx3J0z+TrDudOIe9PTavjJ4bQt/7lwDqZ1h4MeD14CPQ9+PQWpGa0csAJX7Yrppb2rsrdfQjXtzcK/urIth6FQ46xPQpWdrRy3NwLwdfXMrKCjwdj1hUFUZvPgdeO+30OfsoDtsrxGtHVW0A7th+6owEawIk8KqoEtwvez+0Gtk8Dq4Bza+A7vWBuuS06DveBh4Dgw8N7h537l765xLe3dwT5CsD0sAMRf/qiZNm0kpkN0v6KHXtV/we/l2WPsSVGwHLHjoc+hUGDYV+oyDJA3a0FaZ2eKjPWemBHE6WvUXeOHrwXMan/gPmDSzdf4A6+qgYkdwUdm5JkwEYVIo29JYLqMr9BoNvUdBr/rXSOjU7ch9VuyETQth49uwcSGUvgd11cG6nsMbaxkDPw45g9UN+GRVlcPqv8HyZ2DdK42fMQTdsuu7aNd3125ICP0hsxckJR+5z7o62LoU1s4PeuBtXgx40AX8rEuCWvCQKcH/B2kzlCDao7JtMPcOWDsPzpwCH781+MNrzm64VeWHNy3s39ykqWHz4ReW5HTIHQ69R4c1gzApZJ1x8nFUH4TNS2DTO0ENY9PCoMkDggvPgLCG0W98cExdfI6u5hB8+Aos+1OQHKoPQFZfGPM5GHJR0CEiux+kdW6e41XshHUvB8niw1eCf7eklODfa+jU4JU7vPWT/M61Qax98yG1U+vG0gqUINord1j8a5j33eCPvanYB/maPsPR9GdVWczFf3OQACr3NtlfMmT3Db9N9j/81eOs4Bt9coKH96qrgx0fBDWM+prG3o2N67P7N9ZU6hNVz2GQkp7YuNqqulrY8CYsewZWPh/8m3bKgVGfhbHXBBfrlqh91tZAybtBM9Sal2D7imB5t4GNySLv/OZLTsezdxMsfzaoQW1dFixLSoUzxh1+Lywzt2XiaUVKEO1dxU7Y/dHhw4Ac9ee+IBnUL4utAWR0O7xZoekrs0/iE8DJ2F8a/JHH3uvYsbrx3Cw5GLoktlbTayR0y2ufbePuULoElj0bXATLt0JqFxjxqSApDJnS+uN97SsJksXa+bD+teALTkoGDL6gMWHkDGreY1bshBVzgs9kY9gbsF8BjL0acvLCLxzvBDXW2qpgfY+zgkRRnzR6nNU6NZ7amnB4n6P8bZvBpJtPatdKEBLNHWoqg/9gaV0gPbO1I2o+tdWwa93h90W2rYC9GxrLpHYJbvL3Ggldep3aH37nHo21lsxepx7/ydixOqgpLH8Gdq8PbvSfdUlwARw2reW+nZ+o6sqglrP2paA5as9HwfKew4Ob3EOnBhfpk+m1V1UGH/xv0Kz24avB8Dm5I4LPZMxV0P3MI7epqYLSopha6jtwcHewrnPPsFkzTBhn5B8/rppDMV/O9jcO5XPEF7eIi3/9eG/VFcc+Ruce8K31J/75oAQh0qiqPGiiakgcK4IePE2b006E++HjdnXuGSSd3qNjbsqPCJr7TpV70OsotqfRvo3Bt/Cty4JmxbzzgwvgyMuD5qTTzc51Ye1iHhS/GdQE07KCms/QqcHN7mMNP1NdGQx6uexPQcKpqYSuA2HsVTDm6uDf5US+DLgH9yk2vh3eB3snSMAQ1Hr6TQhqIE0H8Kz/WVN5/GOkdDrKED/ZkN71GM3DXRvLnmS3cCUIkUQr3xHzfEd98ll1+De/boPCWkZMb66eQw9v7qmubOwM0NApYNPh94eafptMTgu6PY+9GkZf2b7G7qoqh49eDy70a+dDWTgYwxnjYOilQcLoNz64iBcvCJrVVs0NLsydewafx9hrYMCk5m0aKtsWdpwI74OVbT3y4p2edfQLfOy69KxWfaZJCUKkNdTVBU1aRzwYuLaxxpGU2ngTfV9J+BxBE116HT46cNf+MUPGDwguhO3xXkpT7rBteeON7pJ3wevC0ZKTg88uLSuoOY29CgZPbpv3zNoYJQiRtqSmKkgSsYmjrvrIZw+69g+6oeqJ8mgHdsOHfw8SRm11MBry0KkdsqvqqVCCEBGRSMdKEB2gXioiIidDCUJERCIpQYiISCQlCBERiaQEISIikRKaIMxsmpmtNrN1ZnZPxPocM5tjZu+b2btmNibebUVEJLESliDMLBl4CLgMGAXMMLNRTYr9G1Dk7mcTzEn90xPYVkREEiiRNYhJwDp3X+/uh4DZwBVNyowCXgFw9w+APDPrHee2IiKSQIlMEP2ATTHvS8JlsZYCnwMws0nAIKB/nNsSbjfTzArNrHDHjh3NFLqIiCQyQUSNjNX0se0HgBwzKwLuAN4DauLcNljo/oi7F7h7QW5u+5/cQ0SkpSRyJKsSYEDM+/5AaWwBd98P3AhgZgZ8FL46H29bERFJrETWIBYBQ81ssJmlAdOBubEFzKxbuA7gJmBBmDSOu62IiCRWwmoQ7l5jZrcD84Bk4HF3X2Fmt4TrZwEjgSfNrBZYCXzlWNsmKlYRETmSRnMVEenANJqriIicMCUIERGJpAQhIiKRlCBERCSSEoSIiERSghARkUhKECIiEkkJQkREIilBiIhIJCUIERGJpAQhIiKRlCBERCSSEoSIiERSghARkUhKECIiEimhCcLMppnZajNbZ2b3RKzvamYvmNlSM1thZjfGrCs2s2VmVmRmmuRBRKSFJWxGOTNLBh4CLiGYn3qRmc1195UxxW4DVrr75WaWC6w2s6fc/VC4foq770xUjCIicnSJrEFMAta5+/rwgj8buKJJGQeyzMyATGA3UJPAmEREJE6JTBD9gE0x70vCZbF+QTAvdSmwDPhXd68L1znwkpktNrOZRzuImc00s0IzK9yxY0fzRS8i0sElMkFYxLKmE2BfChQBfYF84Bdmlh2uO8/dxwOXAbeZ2QVRB3H3R9y9wN0LcnNzmyl0ERFJZIIoAQbEvO9PUFOIdSPwnAfWAR8BIwDcvTT8uR2YQ9BkJSIiLSSRCWIRMNTMBptZGjAdmNukzEbgYgAz6w0MB9abWRczywqXdwGmAssTGKuIiDSRsF5M7l5jZrcD84Bk4HF3X2Fmt4TrZwE/AJ4ws2UETVLfdvedZnYmMCe4d00K8LS7v5ioWEVE5Ejm3vS2wOmroKDACwv1yISISLzMbLG7F0St05PUIiISSQlCREQiKUGIiEgkJQgREYmkBCEiIpGUIEREJJIShIiIRFKCEBGRSEoQIiISSQlCREQiKUGIiEgkJQgREYmkBCEiIpGUIEREJJIShIiIREpogjCzaWa22szWmdk9Eeu7mtkLZrbUzFaY2Y3xbisiIomVsARhZsnAQ8BlwChghpmNalLsNmClu48DJgM/NrO0OLcVEZEESmQNYhKwzt3Xu/shYDZwRZMyDmRZMLdoJrAbqIlzWxERSaCEzUkN9AM2xbwvAc5pUuYXwFygFMgCrnX3OjOLZ1sRkWZVXV1NSUkJlZWVrR1Ks8vIyKB///6kpqbGvU0iE4RFLGs6AfalQBFwETAEmG9mb8S5bXAQs5nATICBAweedLAiIiUlJWRlZZGXl0fQsNE+uDu7du2ipKSEwYMHx71dIpuYSoABMe/7E9QUYt0IPOeBdcBHwIg4twXA3R9x9wJ3L8jNzW224EWk46msrKRHjx7tKjkAmBk9evQ44ZpRIhPEImComQ02szRgOkFzUqyNwMUAZtYbGA6sj3NbEZFm196SQ72TOa/jNjGZ2aeBv7p73Yns2N1rzOx2YB6QDDzu7ivM7JZw/SzgB8ATZraMoFnp2+6+MzzuEdueyPFFROTUxFODmA6sNbP/NLORJ7Jzd/+ruw9z9yHu/sNw2awwOeDupe4+1d3HuvsYd//dsbYVEWktW7duZfr06QwZMoRRo0bxyU9+kjVr1jBmzJhmO8b3vvc9Xn75ZQDeeOMNRo8eTX5+Pps3b+bqq69utuPE67g1CHf/gpllAzOAX5uZA78Gfu/uZYkOUESktbk7V155JV/60peYPXs2AEVFRWzbtq1Zj3Pfffc1/P7UU0/xzW9+kxtvDJ4ffuaZZ+LeT21tLcnJyaccT1z3INx9P/AswfMIZwBXAkvM7I5TjkBEpI179dVXSU1N5ZZbbmlYlp+fz4ABjX1piouLOf/88xk/fjzjx4/nrbfeAmDLli1ccMEF5OfnM2bMGN544w1qa2u54YYbGDNmDGPHjuXBBx8E4IYbbuCZZ57hscce449//CP33Xcfn//85ykuLm6oqdTW1nL33XczceJEzj77bB5++GEAXnvtNaZMmcJ1113H2LFjm+W847kHcTnwZYJuqL8FJrn7djPrDKwCft4skYiItFHLly9nwoQJxyzTq1cv5s+fT0ZGBmvXrmXGjBkUFhby9NNPc+mll/Ld736X2tpaDhw4QFFREZs3b2b58uUA7N2797B93XTTTfzjH//g05/+NFdffTXFxcUN6371q1/RtWtXFi1aRFVVFeeddx5Tp04F4N1332X58uUn1JX1WOJ5DuIa4EF3XxC70N0PmNmXmyUKEZHTXHV1NbfffjtFRUUkJyezZs0aACZOnMiXv/xlqqur+exnP0t+fj5nnnkm69ev54477uBTn/pUwwU+Hi+99BLvv/9+Q5PTvn37WLt2LWlpaUyaNKnZkgPE18T0feDd+jdm1snM8gDc/ZVmi0REpI0aPXo0ixcvPmaZBx98kN69e7N06VIKCws5dOgQABdccAELFiygX79+fPGLX+TJJ58kJyeHpUuXMnnyZB566CFuuummuGNxd37+859TVFREUVERH330UUOC6dKly8mfZIR4EsSfgNgurrXhMhGRDuGiiy6iqqqKRx99tGHZokWL2LBhQ8P7ffv2ccYZZ5CUlMRvf/tbamtrAdiwYQO9evXi5ptv5itf+QpLlixh586d1NXVcdVVV/GDH/yAJUuWxB3LpZdeyv/8z/9QXV0NwJo1a6ioqGimMz1cPE1MKeGAeQC4+6Hw4TURkQ7BzJgzZw533nknDzzwABkZGeTl5fGTn/ykocytt97KVVddxZ/+9CemTJnS8G3+tdde40c/+hGpqalkZmby5JNPsnnzZm688Ubq6oLv3vfff3/csdx0000UFxczfvx43J3c3Fz+/Oc/N+8Jh8w9coijxgJm84Gfu/vc8P0VwNfd/eKERHQKCgoKvLCwsLXDEJHT1KpVqxg58oQe9zqtRJ2fmS1294Ko8vHUIG4BnjKzXxA87bwJuP5UAxURkbYtngflPgQ+bmaZBDUOPRwnItIBxDXct5l9ChgNZNQP+OTu9x1zIxEROa0dtxeTmc0CrgXuIGhiugYYlOC4RESklcXTzfWf3P16YI+7/wdwLofP1SAiIu1QPAmifoaJA2bWF6gGmu9RPRERaZPiSRAvmFk34EfAEqAY+H0igxIR6ajMjG984xsN7//rv/6Le++9F4B7772Xfv36kZ+fz4gRI/ja177W8CxFIhwzQZhZEvCKu+9192cJ7j2McPfvJSwiEZEOLD09neeee46dO3dGrr/rrrsoKipi5cqVLFu2jNdffz1hsRwzQYSzyP045n2Vu++Ld+dmNs3MVpvZOjO7J2L93WZWFL6Wm1mtmXUP1xWb2bJwnZ5+E5EOISUlhZkzZzYMAX40hw4dorKykpycnMTFEkeZl8zsKuA5P95j1zHMLBl4CLgEKAEWmdlcd19ZX8bdf0TQdFU/rPhd7r47ZjdT6qcgFRFpSf/xwgpWlu5v1n2O6pvN9y8ffdxyt912G2effTbf+ta3jlj34IMP8rvf/Y4NGzZw2WWXkZ+f36wxxornHsT/RzA4X5WZ7TezMjOL51ObBKxz9/XhWE6zgSuOUX4GurchIkJ2djbXX389P/vZz45YV9/EtH37dioqKhpmuEuEeJ6kzjrJffcjGJajXglwTlTBcPKhacDtsYcmqL048LC7P3KUbWcCMwEGDhx4kqGKiBwunm/6iXTnnXcyfvz4hilHm0pNTWXatGksWLCA6dOnJySGeB6UuyDqFce+LWLZ0ZqoLgfebNK8dJ67jwcuA2472jHd/RF3L3D3gtzc3DjCEhFp+7p3786//Mu/8Ktf/Spyvbvz1ltvMWTIkITFEE8T090xr38HXgDujWO7Eg5/oK4/UHqUstNp0rzk7qXhz+3AHIImKxGRDuMb3/jGEb2ZHnzwwYb5rWtqarj11lsTdvx4mpguj31vZgOA/4xj34uAoWY2GNhMkASua1rIzLoCFwJfiFnWBUhy97Lw96mAxn4SkXavvLy84ffevXtz4MCBhvf33ntvwzMRLSGuwfqaKAHGHK+Qu9eY2e3APCAZeNzdV5jZLeH6WWHRK4GX3D12SqTewJxwYMAU4Gl3f/EkYhURkZN03ARhZj+n8d5BEpAPLI1n5+7+V+CvTZbNavL+CeCJJsvWA+PiOYaIiCRGPDWI2IfUaoDfu/ubCYpHRETaiHgSxDNApbvXQvAAnJl1dvcDx9lOREROY/H0YnoF6BTzvhPwcmLCERGRtiKeBJHh7g231cPfOycuJBERaQviSRAVZja+/o2ZTQAOJi4kEZGO7Yc//CGjR4/m7LPPJj8/n8suu4zvfOc7h5UpKipi5MiRQNA19qtf/SpDhgxh9OjRXHDBBSxcuPCU44jnHsSdwJ/MrP4htzMIpiAVEZFm9vbbb/OXv/yFJUuWkJ6ezs6dO1mxYgU33ngj999/f0O52bNnc911waNlN910E4MHD2bt2rUkJSWxfv16Vq1adcqxxPOg3CIzGwEMJxg+4wN3rz7lI4uIyBG2bNlCz549SU9PB6Bnz55ceOGFdOvWjYULF3LOOcGQdn/84x+ZN28eH374IQsXLuSpp54iKSloFDrzzDM588wzTzmWeJ6DuA14yt2Xh+9zzGyGu//ylI8uItJW/e0e2LqseffZZyxc9sAxi0ydOpX77ruPYcOG8YlPfIJrr72WCy+8kBkzZjB79mzOOecc3nnnHXr06MHQoUOZO3cu+fn5JCcnN2+sxHcP4mZ331v/xt33ADc3eyQiIkJmZiaLFy/mkUceITc3l2uvvZYnnniC6dOn88wzz1BXV8fs2bOZMWNGwmOJ5x5EkplZ/WRB4URAaYkNS0SklR3nm34iJScnM3nyZCZPnszYsWP5zW9+ww033EBeXh6vv/46zz77LG+//TYAo0ePZunSpdTV1TU0MTWXePY2D/ijmV1sZhcRjLr6t2aNQkREAFi9ejVr165teF9UVMSgQYMAmDFjBnfddRdDhgyhf//+AAwZMoSCggK+//3vUz/p59q1a3n++edPOZZ4EsS3CR6W+xpwG/A+hz84JyIizaS8vJwvfelLjBo1irPPPpuVK1c2jOB6zTXXsGLFiiMmCHrsscfYunUrZ511FmPHjuXmm2+mb9++pxxLPL2Y6szsHeBMgu6t3YFnT/nIIiJyhAkTJvDWW29FrsvNzaW6+shOpNnZ2Tz66KPNHstRE4SZDSOYw2EGsAv4A4C7T2n2KEREpM05Vg3iA+AN4HJ3XwdgZne1SFQiItLqjnUP4ipgK/CqmT1qZhcTPc/0UZnZNDNbbWbrzOyeiPV3m1lR+FpuZrVm1j2ebUVEEqH+Rm97czLnddQE4e5z3P1aYATwGnAX0NvM/sfMph5vx2F32IeAy4BRwAwzG9XkGD9y93x3zwe+A7zu7rvj2VZEpLllZGSwa9eudpck3J1du3aRkZFxQtvFc5O6AngKeCr8dn8NcA/w0nE2nQSsC2eHw8xmA1cAK49SfgZBF9qT2VZE5JT179+fkpISduzY0dqhNLuMjIyGrrHxOqE5qd19N/Bw+DqefsCmmPclwDlRBc2sMzANuP0ktp0JzAQYOHBgHGGJiERLTU1l8ODBrR1Gm9G8j90dLup+xdHqbZcDb4YJ6IS2dfdH3L3A3Qtyc3NPIkwREYmSyARRAgyIed8fKD1K2ek0Ni+d6LYiIpIAiUwQi4ChZjbYzNIIksDcpoXMrCtwIfD8iW4rIiKJc0L3IE6Eu9eY2e0EYzklA4+7+wozuyVcPysseiXwUngz/JjbJipWERE5krWn7lwFBQVeWFjY2mGIiJw2zGyxuxdErUtkE5OIiJzGlCBERCSSEoSIiERSghARkUhKECIiEkkJQkREIilBiIhIJCUIERGJpAQhIiKRlCBERCSSEoSIiERSghARkUhKECIiEkkJQkREIilBiIhIpIQmCDObZmarzWydmd1zlDKTzazIzFaY2esxy4vNbFm4TpM8iIi0sITNKGdmycBDwCUEc0wvMrO57r4ypkw34JfANHffaGa9muxmirvvTFSMIiJydImsQUwC1rn7enc/BMwGrmhS5jrgOXffCODu2xMYj4iInIBEJoh+wKaY9yXhsljDgBwze83MFpvZ9THrHHgpXD7zaAcxs5lmVmhmhTt27Gi24EVEOrqENTEBFrGs6QTYKcAE4GKgE/C2mb3j7muA89y9NGx2mm9mH7j7giN26P4I8AgEc1I36xmIiHRgiaxBlAADYt73B0ojyrzo7hXhvYYFwDgAdy8Nf24H5hA0WYmISAtJZIJYBAw1s8FmlgZMB+Y2KfM8cL6ZpZhZZ+AcYJWZdTGzLAAz6wJMBZYnMFYREWkiYU1M7l5jZrcD84Bk4HF3X2Fmt4TrZ7n7KjN7EXgfqAMec/flZnYmMMfM6mN82t1fTFSsIiJyJHNvP832BQUFXlioRyZEROJlZovdvSBqnZ6kFhGRSEoQIiISSQlCREQiKUGIiEgkJQgREYmkBCEiIpGUIEREJJIShIiIRFKCEBGRSEoQIiISSQlCREQiKUGIiEgkJQgREYmkBCEiIpGUIEREJFJCE4SZTTOz1Wa2zszuOUqZyWZWZGYrzOz1E9lWREQSJ2EzyplZMvAQcAnB3NOLzGyuu6+MKdMN+CUwzd03mlmveLcVEZHESmQNYhKwzt3Xu/shYDZwRZMy1wHPuftGAHfffgLbiohIAiUyQfQDNsW8LwmXxRoG5JjZa2a22MyuP4FtATCzmWZWaGaFO3bsaKbQRUQkYU1MgEUsazoBdgowAbgY6AS8bWbvxLltsND9EeARCOakPuloRUTkMIlMECXAgJj3/YHSiDI73b0CqDCzBcC4OLcVEZEESmQT0yJgqJkNNrM0YDowt0mZ54HzzSzFzDoD5wCr4ty22bz6wXa27DuYqN2LiJyWElaDcPcaM7sdmAckA4+7+wozuyVcP8vdV5nZi8D7QB3wmLsvB4jaNhFxVlbXcsvvFlNVU8fIM7KZMjyXi0b0In9AN1KS9ZiIiHRc5t5+mu0LCgq8sLDwhLZxd9ZtL+fvH2zn1dXbKSzeQ02d07VTKhcOy2XKiFwuHNaL7l3SEhS1iEjrMbPF7l4Qua6jJ4im9ldW84+1O/n7B9t5bfUOdpZXYQb5A7px0fBeTBnRi9F9szGLuo8uInJ6UYI4SXV1zvLSfbz6wQ7+vno775fsxR16ZaUzOWyKOu+snmRlpDbbMUVEWpISRDPZWV7F66t38Orq7SxYs4P9lTWkJBkT87pz7cQBXD6uL8lJqlmIyOlDCSIBamrrWLJxL3//YDsvrdzK+h0VDO+dxTemDuOSUb3VBCUipwUliASrq3P+d9kW/nv+Gj7aWUH+gG5869Lh/NNZPVs8FhGRE3GsBKF+nM0gKcm4fFxf5t91Af/3qrFs3/c80nwAABBHSURBVF/JdY8t5POPvcN7G/e0dngiIidFNYgEqKyu5emFG3no1XXsqjjEJaN6842pwxjRJ7u1QxMROYyamFpJRVUNv37zIx5esJ7yqhquGNeXuy4ZxqAeXVo7NBERQAmi1e09cIiHF6zn129+RE2t8y8TB/D1i4bSp2tGa4cmIh2cEkQbsX1/Jb94dR2/f3cjSWZcf+4gvjb5LD2lLSKtRgmijdm0+wA/eXktc94roXNaCjedP5irxvenf04ndY8VkRalBNFGrd1Wxn/PX8Pflm8FIDM9hWG9MxneJ4vhvbMY3ieb4X2yVMOQBu5OVU0d+yurKausCV/VpCUn0bdbJ3pnZ5CWos6JEj8liDZu9dYyCjfsZs3WMj7YWsbqbWXsPVDdsD43K50RYdIY1ieLEX2yGNori05pya0YdfOorK5l8YY9ZGekMqZf+x7jyt05cKi24aK+v7KG8qrg9/pl9Rf9/RHLyiqrKa+qobr26H+zZsFQMH27dQpeXTMafu8X/szpnNquP2c5MUoQpxl3Z3tZFau3lrG6IWnsZ+22cqpq6oDgQjCoe+egttEnm5zOpzYeVP+czkwYlNMitZXNew/y2urtvPrBdt5ct4uD1bUADO7ZhcvH9eUz4/pyVq/MhMdxIurqnPJDNZTHXKwPv5A3XsBjE0Bs2fKqGmrrjv33lmRBTTIrI5WsjJTwFfH7YWVSqaqppXTvQTbvrWTL3oOU7jtI6d5KNu89yKHw/0y9jNQk+nYNE0i3IIFkZ6RyKjmja6dUhvfJYkhuJhmpp/8Xl45ECaKdqK1zNuyqaEgaa7YFCaR4VwXHue7EbUhuFybmdacgrzsFg3IY1KPzKX/bjB2W5LXV2/lgaxkA/XM6cdGIXkwensv2/VXMXVrK2+t34Q6j+2bzmXF9uXxcX/p269Qcp3aE2jpn9dYyFm/YTcnegw0X+vImF/2yyhrKD9VwvD+V5CRrvJCnN168s4+40KeSGS7LbrK8S1pys367d3d2VxxqSBal4WvLvsb328uqmu14yUlGXo/OjOiTzbDeWQwPa7wDunfWOGVtVKslCDObBvyUYNKfx9z9gSbrJxPMKvdRuOg5d78vXFcMlAG1QM3RTiBWe08QR1NZXUtl+C38ZNQ5fLijnEXFuyks3sPiDXvYdzBo4uqZmU7BoBwK8nKYmNedUX2zSY1jIqVd5VW8dpSBDaeMCEbCHZKbecTFcNv+Sv7y/hbmLi1l6aa9AEzK687l+X351NgzTqmGc/BQLUWb9lJYvJtFG/bw3oY9lFXVAJCWnNRwcc9scoGPupBHfbvvlNq8F/eWcqimjgOHak56e3fYVVEV1HRjvrxs3H2gIalmpCYFCSNMGvWv3Mz00/IzA6iurWNl6X4WFe9me1lVWPNr8v8j/fD/K23x/lCrJAgzSwbWAJcQzDG9CJjh7itjykwGvunun47YvhgocPed8R6zoyaI5lZX56wLE8bi4j0s2rCbTbuDKVk7pSaTP6AbE/NymJDXnfEDu5GVkXrUodF7ZqY3zNJ33tCeZJ/A0OjFOyt4YWkpzy8tZd32clKSjH8e2pMr8vtyyag+ZKYfe0LEHWVVLN6wm0XFeyjcsIcVm/dRE1a1hvfOYkJeDhPzcigY1F09yBLgwKEa1mwrZ/XW/azeWs7qbftZvbWMneWHGsp075LGsN6ZnNG1E6fy6Wd3Sm2osQzrnZmQIfjLKqtZsjH4glFYvIeiTXsbmkfTU5Iamn+PJT0lKbJW2a1zGv26ZcTcO+pEn64t0+GgtRLEucC97n5p+P47AO5+f0yZyShBnBa27a+ksHhPkDQ27GFF6T7qPGgzH9Y7i53lhxomVxrXvxsXjejFlOHB5EpJp9i04O6s2lLG3KWlvLC0lM17D5KRmsTFI3vzmXF9mTw8l7TkJD7cURH88W7YQ2Hxbop3HQAgLSWJ/P7dKMgLakLjB+bQrbN6hrWWneVVjR0ytpbxwbYydlecWjPX7vJDVBxqrEX369Yp6NgR8zqzZ+YJXXBL9x5s+P++qHgPq7fub/g/P7pvVyYMygmbY3PonZ1BdW1d2EQZ1ckg/Fl1+P2p+ubMXRWH2F1x6LDjm0FuZnpDB4MzjuhwkEH3Lmmn/MWmtRLE1cA0d78pfP9F4Bx3vz2mzGTgWYIaRilBslgRrvsI2AM48LC7P3K8YypBtJyKqhqKNu1t+APq2imVi0b04sJhufTITE/YcevqnCUb9/B8USl/XbaFXRWHyMpIISXJ2BP2/MrpnNpwD6Ugrztj+mWTnqIbp+1ZXZ2zee/BoGPHtrCZa2sZH+4ob6g1piQZQ3IzG3oC1jd39evWCYeG+1GLwmbWzXuDWnOXtGQ+NrCxmTV/QDe6HKf2ejIOHqplS9i5oLSho0Hj+817Dx5RS0lPCbo3D+7ZhcdvmHhSx22tBHENcGmTBDHJ3e+IKZMN1Ll7uZl9Evipuw8N1/V191Iz6wXMB+5w9wURx5kJzAQYOHDghA0bNiTkfKTtqamt480Pd/G/75dS5wTNXoO6MyS3i5qLBAjur6zfWd7QI7D+Hkn9xR+CBJBk1nA/qnd2esMXjIl53RnRJ4uUOO67JZq7s+dAdUOyqO9wULqvEnfnl5+fcFL7bbNNTBHbFBPRrGRm9wLl7v5fxzqmahAiEo+yyurw/kgZq7fup6bOgybIDng/6lgJovnrSY0WAUPNbDCwGZgOXNcksD7ANnd3M5tEMD/FLjPrAiS5e1n4+1TgvgTGKiIdSFZGKhMG5TBhUE5rh9KmJSxBuHuNmd0OzCPo5vq4u68ws1vC9bOAq4GvmVkNcBCYHiaL3sCcMIunAE+7+4uJilVERI6kB+VERDowTTkqIiInTAlCREQiKUGIiEgkJQgREYmkBCEiIpGUIEREJFK76uZqZjuAkx1roycQ98CA7ZDOX+ev8++YBrl7btSKdpUgToWZFcYz50R7pfPX+ev8O+75H42amEREJJIShIiIRFKCaHTc+SbaOZ1/x6bzlyPoHoSIiERSDUJERCIpQYiISKQOlSDMbJqZrTazdWZ2T8R6M7OfhevfN7PxrRFnosRx/p8Pz/t9M3vLzMa1RpyJdLzPIKbcRDOrDedWbzfiOX8zm2xmRWa2wsxeb+kYEymOv4GuZvaCmS0Nz//G1oizzXD3DvEimLToQ+BMIA1YCoxqUuaTwN8AAz4OLGztuFv4/P8JyAl/v6w9nX+8n0FMub8DfwWubu24W/j/QDdgJTAwfN+rteNu4fP/N+D/hr/nAruBtNaOvbVeHakGMQlY5+7r3f0QMBu4okmZK4AnPfAO0M3MzmjpQBPkuOfv7m+5+57w7TtA/xaOMdHi+T8AcAfwLLC9JYNrAfGc/3XAc+6+EcDd29NnEM/5O5BlwXSWmQQJoqZlw2w7OlKC6AdsinlfEi470TKnqxM9t68Q1Kbak+N+BmbWD7gSmNWCcbWUeP4PDANyzOw1M1tsZte3WHSJF8/5/wIYCZQCy4B/dfe6lgmv7UnYnNRtkEUsa9rHN54yp6u4z83MphAkiH9OaEQtL57P4CfAt929NpwTvT2J5/xTgAnAxUAn4G0ze8fd1yQ6uBYQz/lfChQBFwFDgPlm9oa77090cG1RR0oQJcCAmPf9Cb4lnGiZ01Vc52ZmZwOPAZe5+64Wiq2lxPMZFACzw+TQE/ikmdW4+59bJsSEivdvYKe7VwAVZrYAGAe0hwQRz/nfCDzgwU2IdWb2ETACeLdlQmxbOlIT0yJgqJkNNrM0YDowt0mZucD1YW+mjwP73H1LSweaIMc9fzMbCDwHfLGdfGNs6rifgbsPdvc8d88DngFubSfJAeL7G3geON/MUsysM3AOsKqF40yUeM5/I0HtCTPrDQwH1rdolG1Ih6lBuHuNmd0OzCPozfC4u68ws1vC9bMIeq18ElgHHCD4NtEuxHn+3wN6AL8Mv0HXeDsa4TLOz6Ddiuf83X2Vmb0IvA/UAY+5+/LWi7r5xPnv/wPgCTNbRtAk9W1376jDgGuoDRERidaRmphEROQEKEGIiEgkJQgREYmkBCEiIpGUIEREJJIShLRZZpZrZv8ws+Vm9tmY5c+bWd+T2NdCM3vPzM5v/miPOF6embVY91AzeyKRI8+a2b1m9s1E7V/aJiUIactmAL8BzgXuBjCzy4El7n6iT7hfDHzg7h9z9zeaN0wws2Z7psjMkptrXyKnQglC2rJqgvGA0oG68CJ8J/Cjo21gZoPM7JVwTotXzGygmeUD/0kwbEaRmXWKKT/JzJ4Lf7/CzA6aWZqZZZjZ+nB5vpm9E+5zjpnlhMtfM7P/E86Z8K9mNiGcR+Bt4LaYY4w2s3fDY79vZkMj4i43s/vMbCFwrpl9IWabh+uTRljux2a2JDy/3Ih9fc/MFoU1r0fCkUkxs7PM7OUwxiVmNiRcfndY/n0z+4+Y/XzXgrkTXiZ4olg6GCUIacueJhg87UXgXuBWguHYDxxjm1+EZc4GngJ+5u5FBE+J/8Hd8939YEz5JcDHwt/PB5YDEwmGmFgYLn+S4InaswlG+Px+zPbd3P1Cd/8x8Gvg6+5+bpOYbgF+6u75BGM9lUTE3QVY7u7nALuAa4Hzwm1qgc/HlFvi7uOB15vE0vAZuPtEdx9DkGA/HS5/CnjI3ccRzP2xxcymAkMJhsLOByaY2QVmNoFgKIqPAZ8LPxPpYDrMUBty+nH3fcCnAMJv7d8GPmdmjwI5wI/d/e0mm51LcEED+C1BzeFYx6ixYHaxkQQXyf8GLiAYiuENM+tKkATqZ1b7DfCnmF38IYyvabnfEky6BPA28F0z608w18LaiFBqCeaggKA5bAKwKPzy34nGuSnq6o8J/I5g7KymppjZt4DOQHdghZm9BvRz9znheVeGcU8FpgLvhdtmEiSMLGBOfTI2s6ZjFkkHoBqEnC6+B/yQ4L7EYuDLwP+JY7t4xpJ5g+BiXg28TDDM+T8DC+LYtiL8aUc7lrs/DXwGOAjMM7OLIopVunttzL5+E9Z28t19uLvfe5TjH3ZMM8sAfkkwE95Y4FEgg+ihruuPdX/Msc5y919F7Vs6HiUIafPCNvu+4bfzzgTfop3gwtfUWwRNIxA0y/wjjkMsILi38ba77yAYsHAEsCKsxeyJ6fn0RYKmncO4+15gn5nVz6FR3ySEmZ0JrHf3nxGMHnr2ceJ5BbjazHqF23c3s0HhuiSgvrfSdRHnV/+Z7DSzzPqy4XwGJfW9wcwsPRytdR7w5bAsZtYvPO4C4Eoz62RmWcDlx4lZ2iE1Mcnp4IfAd8Pffw/8GfhXglpFU18HHjezu4EdxDci70KgN401hveB7d44kuWXgFnhBXX9MfZ5Y3jsAwQX3nrXAl8ws2pgK3DfsYJx95Vm9v8DL5lZEkHN5jZgA0GNZbSZLQb2hfuO3XZv2AS3DCgmGOK63heBh83svnCf17j7S2Hz2tthc1Y58AV3X2JmfyCYPGcDQS1LOhiN5ipyGjGzcnfPbO04pGNQE5OIiERSDUJERCKpBiEiIpGUIEREJJIShIiIRFKCEBGRSEoQIiIS6f8Bp6DnkZxi+vYAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "\n",
    "plt.plot(percentage_range, accuracy_NB, label='NB')\n",
    "plt.plot(percentage_range, accuracy_SVC, label='SVC')\n",
    "plt.ylabel('Accuracy')\n",
    "plt.xlabel('% of words replaced')\n",
    "plt.legend(title='Classifier')\n",
    "plt.savefig('figures/accuracy_replacement.png', dpi=200)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "08bcb15b",
   "metadata": {},
   "source": [
    "## Troca de gênero"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "eb4a0648",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "def swap_gender(text, spacy_nlp):\n",
    "    # map of pronouns\n",
    "    gen_map = {\n",
    "        'ele': 'ela', \n",
    "        'ela': 'ele', \n",
    "        'eles': 'elas', \n",
    "        'elas': 'eles', \n",
    "        'meu': 'minha', \n",
    "        'minha': 'meu', \n",
    "        'meus': 'minhas', \n",
    "        'minhas': 'meus', \n",
    "        'teu': 'tua', \n",
    "        'tua': 'teu', \n",
    "        'teus': 'tuas', \n",
    "        'tuas': 'teus', \n",
    "        'seu': 'sua', \n",
    "        'sua': 'seu', \n",
    "        'seus': 'suas', \n",
    "        'suas': 'seus', \n",
    "        'este': 'esta', \n",
    "        'esta': 'este', \n",
    "        'estes': 'estas', \n",
    "        'estas': 'estes', \n",
    "        'esse': 'essa', \n",
    "        'essa': 'esse', \n",
    "        'esses': 'essas', \n",
    "        'essas': 'esses', \n",
    "        'aquele': 'aquela', \n",
    "        'aquela': 'aquele', \n",
    "        'aqueles': 'aquelas', \n",
    "        'aquelas': 'aqueles', \n",
    "        'àquele': 'àquela', \n",
    "        'àquela': 'àquele', \n",
    "        'àqueles': 'àquelas', \n",
    "        'àquelas': 'àqueles', \n",
    "        'mesmo': 'mesma', \n",
    "        'mesma': 'mesmo', \n",
    "        'mesmos': 'mesmas', \n",
    "        'mesmas': 'mesmos', \n",
    "        'próprio': 'própria', \n",
    "        'própria': 'próprio', \n",
    "        'próprios': 'próprias', \n",
    "        'próprias': 'próprios', \n",
    "        'todo': 'toda', \n",
    "        'toda': 'todo', \n",
    "        'todos': 'todas', \n",
    "        'todas': 'todos', \n",
    "        'algum': 'alguma', \n",
    "        'alguma': 'algum', \n",
    "        'alguns': 'algumas', \n",
    "        'algumas': 'alguns', \n",
    "        'um': 'uma', \n",
    "        'uma': 'um', \n",
    "        'uns': 'umas', \n",
    "        'umas': 'uns', \n",
    "        'certo': 'certa', \n",
    "        'certa': 'certo', \n",
    "        'certos': 'certas', \n",
    "        'certas': 'certos', \n",
    "        'vários': 'várias', \n",
    "        'várias': 'vários', \n",
    "        'muito': 'muita', \n",
    "        'muita': 'muito', \n",
    "        'muitos': 'muitas', \n",
    "        'muitas': 'muitos', \n",
    "        'quanto': 'quanta', \n",
    "        'quanta': 'quanto', \n",
    "        'quantos': 'quantas', \n",
    "        'quantas': 'quantos', \n",
    "        'tanto': 'tanta', \n",
    "        'tanta': 'tanto', \n",
    "        'tantos': 'tantas', \n",
    "        'tantas': 'tantos', \n",
    "        'outro': 'outra', \n",
    "        'outra': 'outro', \n",
    "        'outros': 'outras', \n",
    "        'outras': 'outros', \n",
    "    }\n",
    "    \n",
    "    word_list = []\n",
    "\n",
    "    for token in spacy_nlp(text):\n",
    "        word = token.text\n",
    "        if word in gen_map.keys():\n",
    "            word = gen_map[word]\n",
    "        word_list.append(word)\n",
    "        \n",
    "    sentence = ' '.join(word_list)\n",
    "    return sentence"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "cdcbef12",
   "metadata": {},
   "outputs": [],
   "source": [
    "X_test_trans = []\n",
    "\n",
    "for text in X_test:\n",
    "    X_test_trans.append(swap_gender(text, spacy_nlp))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "bd2e91ff",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "NB accuracy (original): 0.59\n",
      "NB accuracy (back_translated): 0.59\n",
      "SVC accuracy (original): 0.95\n",
      "SVC accuracy (back_translated): 0.95\n"
     ]
    }
   ],
   "source": [
    "predictions_NB = pipeNB.predict(X_test)\n",
    "predictions_NBtrans = pipeNB.predict(X_test_trans)\n",
    "\n",
    "print(f'NB accuracy (original): {accuracy_score(y_test, predictions_NB):.2f}')\n",
    "print(f'NB accuracy (back_translated): {accuracy_score(y_test, predictions_NBtrans):.2f}')\n",
    "\n",
    "predictions_SVC = pipeSVC.predict(X_test)\n",
    "predictions_SVCtrans = pipeSVC.predict(X_test_trans)\n",
    "\n",
    "print(f'SVC accuracy (original): {accuracy_score(y_test, predictions_SVC):.2f}')\n",
    "print(f'SVC accuracy (back_translated): {accuracy_score(y_test, predictions_SVCtrans):.2f}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "087ea6f6",
   "metadata": {},
   "source": [
    "## Paráfrase"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "6ae3f893",
   "metadata": {},
   "outputs": [],
   "source": [
    "from deep_translator import GoogleTranslator"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "4088f7cd",
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Number of supported languages: 109\n",
      "['afrikaans', 'albanian', 'amharic', 'arabic', 'armenian', 'azerbaijani', 'basque', 'belarusian', 'bengali', 'bosnian', 'bulgarian', 'catalan', 'cebuano', 'chichewa', 'chinese (simplified)', 'chinese (traditional)', 'corsican', 'croatian', 'czech', 'danish', 'dutch', 'english', 'esperanto', 'estonian', 'filipino', 'finnish', 'french', 'frisian', 'galician', 'georgian', 'german', 'greek', 'gujarati', 'haitian creole', 'hausa', 'hawaiian', 'hebrew', 'hindi', 'hmong', 'hungarian', 'icelandic', 'igbo', 'indonesian', 'irish', 'italian', 'japanese', 'javanese', 'kannada', 'kazakh', 'khmer', 'kinyarwanda', 'korean', 'kurdish', 'kyrgyz', 'lao', 'latin', 'latvian', 'lithuanian', 'luxembourgish', 'macedonian', 'malagasy', 'malay', 'malayalam', 'maltese', 'maori', 'marathi', 'mongolian', 'myanmar', 'nepali', 'norwegian', 'odia', 'pashto', 'persian', 'polish', 'portuguese', 'punjabi', 'romanian', 'russian', 'samoan', 'scots gaelic', 'serbian', 'sesotho', 'shona', 'sindhi', 'sinhala', 'slovak', 'slovenian', 'somali', 'spanish', 'sundanese', 'swahili', 'swedish', 'tajik', 'tamil', 'tatar', 'telugu', 'thai', 'turkish', 'turkmen', 'ukrainian', 'urdu', 'uyghur', 'uzbek', 'vietnamese', 'welsh', 'xhosa', 'yiddish', 'yoruba', 'zulu']\n"
     ]
    }
   ],
   "source": [
    "supported_languages = GoogleTranslator.get_supported_languages()\n",
    "print(f'Number of supported languages: {len(supported_languages)}')\n",
    "print(supported_languages)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "4f9edece",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Original Text [pt]: a prostituição é uma atividade antiquíssima e que sempre encontra espaço nas sociedades. em geral, os clientes procuram esse tipo de profissional porque têm dificuldades de conseguir parceiros sexuais ou então para procurar diversidade em seus relacionamentos sexuais. porém, em termos psicológicos, geralmente é uma relação desprovida de afeto. e o sexo, dizem as pesquisas, é mais gratificante quando expressa um real sentimento entre os parceiros. durante a relação sexual, são comuns os gritos, gemidos, sussurros e palavreados obscenos, supostamente denotando excitação sexual. porém estudos recentes indicam que, na maioria das vezes, tal comportamento não reflete real excitação sexual, mas apenas o desejo de estimular sexualmente o parceiro. existem uma diferenciação no papel de cada gênero sexual dentro da relação afetiva. estudos indicam, por exemplo, que um casamento tem mais chances de ser bem-sucedido se a mulher for mais inteligente, mais jovem ou mais feliz com a relação que o homem. ou se o homem adotar uma atitude protetora diante da mulher. ou seja, a união ideal implica em papéis específicos para cada gênero sexual dentro da relação. pesquisas descobriram que a traição é maior em mulheres mais ricas e em homens dependentes financeiramente de suas mulheres. o que comprova a diferenciação sexual dos gêneros, pois demonstra a insatisfação do homem, quando colocado numa posição dependente em relação à mulher. de modo análogo, a mulher costuma demonstrar insatisfação quando o homem está numa posição dependente. pesquisas indicam que a atividade sexual do casal tende a diminuir com o passar dos anos, fruto da monotonia da vida conjugal. para revalorizar as relações entre os parceiros, especialistas recomendam investir mais tempo e cuidado na relação, através de: preocupação com os problemas do parceiro, viagens de férias e passeios sem a presença de outras pessoas, elogios sinceros ao parceiro, relações sexuais com ingredientes que quebrem a rotina, como óleos de massagem, fantasias sexuais, sexo inesperado etc..\n",
      "\n",
      "Translated Text [en]: prostitution is an ancient activity that always finds a place in societies. In general, clients seek this type of professional because they have difficulties in finding sexual partners or because they are looking for diversity in their sexual relationships. however, in psychological terms, it is usually a relationship devoid of affection. and sex, research says, is most rewarding when it expresses real feelings between partners. during intercourse, screams, moans, whispers and obscene words are common, supposedly denoting sexual arousal. however recent studies indicate that, in most cases, such behavior does not reflect real sexual arousal, but only the desire to sexually stimulate the partner. there is a differentiation in the role of each sexual gender within the affective relationship. Studies indicate, for example, that a marriage is more likely to succeed if the woman is smarter, younger, or happier in the relationship than the man. or if the man adopts a protective attitude towards the woman. that is, the ideal union implies specific roles for each sex within the relationship. research has found that cheating is higher in wealthier women and in men who are financially dependent on their wives. which proves the sexual differentiation of the genders, as it demonstrates the dissatisfaction of men, when placed in a dependent position in relation to women. similarly, women often show dissatisfaction when men are in a dependent position. Research indicates that the couple's sexual activity tends to decrease over the years, as a result of the monotony of married life. to revalue relationships between partners, experts recommend investing more time and care in the relationship, through: concern for the partner's problems, vacation trips and outings without the presence of other people, sincere praise for the partner, sexual relations with ingredients that break the routine, such as massage oils, sexual fantasies, unexpected sex, etc.\n",
      "\n",
      "Back Translation [pt]: a prostituição é uma atividade antiga que sempre encontra um lugar nas sociedades. Em geral, os clientes procuram este tipo de profissional porque têm dificuldades em encontrar parceiros sexuais ou porque procuram diversidade nas suas relações sexuais. porém, em termos psicológicos, costuma ser uma relação desprovida de afeto. e sexo, segundo a pesquisa, é mais recompensador quando expressa sentimentos reais entre parceiros. durante a relação sexual, gritos, gemidos, sussurros e palavras obscenas são comuns, supostamente denotando excitação sexual. porém estudos recentes indicam que, na maioria dos casos, tal comportamento não reflete a real excitação sexual, mas apenas o desejo de estimular sexualmente o parceiro. há uma diferenciação no papel de cada gênero sexual dentro da relação afetiva. Estudos indicam, por exemplo, que é mais provável que um casamento seja bem-sucedido se a mulher for mais inteligente, mais jovem ou mais feliz no relacionamento do que o homem. ou se o homem adota uma atitude protetora em relação à mulher. ou seja, a união ideal implica papéis específicos para cada sexo dentro do relacionamento. A pesquisa descobriu que a traição é maior em mulheres mais ricas e em homens que dependem financeiramente de suas esposas. o que comprova a diferenciação sexual dos gêneros, pois demonstra a insatisfação dos homens, quando colocados em posição de dependência em relação às mulheres. da mesma forma, as mulheres muitas vezes mostram insatisfação quando os homens estão em uma posição de dependência. Pesquisas indicam que a atividade sexual do casal tende a diminuir com o passar dos anos, fruto da monotonia da vida conjugal. para reavaliar as relações entre os parceiros, especialistas recomendam investir mais tempo e cuidado no relacionamento, por meio de: preocupação com os problemas do parceiro, viagens de férias e passeios sem a presença de outras pessoas, elogios sinceros ao parceiro, relações sexuais com ingredientes que quebram a rotina , como óleos de massagem, fantasias sexuais, sexo inesperado, etc.\n"
     ]
    }
   ],
   "source": [
    "translated = GoogleTranslator(source='pt', target='en').translate(text)\n",
    "back_translated = GoogleTranslator(source='en', target='pt').translate(translated)\n",
    "\n",
    "print(f'Original Text [pt]: {text}\\n')\n",
    "print(f'Translated Text [en]: {translated}\\n')\n",
    "print(f'Back Translation [pt]: {back_translated}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "372fb20a",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "X_test_trans = []\n",
    "to_remove = []\n",
    "\n",
    "for i, text in enumerate(X_test):\n",
    "    translated = GoogleTranslator(source='pt', target='en').translate(text)\n",
    "    \n",
    "    if len(translated) < 5000:\n",
    "        # text must have less than 5000 characters\n",
    "        back_translated = GoogleTranslator(source='en', target='pt').translate(translated)\n",
    "        X_test_trans.append(back_translated)\n",
    "    else:\n",
    "        to_remove.append(i)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "8eebfebf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# drop rows which could not be translated\n",
    "X_test_drop = X_test.drop(X_test.index[to_remove])\n",
    "y_test_drop = y_test.drop(y_test.index[to_remove])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "3ef823c8",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "NB accuracy (original): 0.59\n",
      "NB accuracy (back_translated): 0.59\n",
      "SVC accuracy (original): 0.95\n",
      "SVC accuracy (back_translated): 0.94\n"
     ]
    }
   ],
   "source": [
    "predictions_NB = pipeNB.predict(X_test_drop)\n",
    "predictions_NBtrans = pipeNB.predict(X_test_trans)\n",
    "\n",
    "print(f'NB accuracy (original): {accuracy_score(y_test_drop, predictions_NB):.2f}')\n",
    "print(f'NB accuracy (back_translated): {accuracy_score(y_test_drop, predictions_NBtrans):.2f}')\n",
    "\n",
    "predictions_SVC = pipeSVC.predict(X_test_drop)\n",
    "predictions_SVCtrans = pipeSVC.predict(X_test_trans)\n",
    "\n",
    "print(f'SVC accuracy (original): {accuracy_score(y_test_drop, predictions_SVC):.2f}')\n",
    "print(f'SVC accuracy (back_translated): {accuracy_score(y_test_drop, predictions_SVCtrans):.2f}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5840a04e",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}