transcription_inference.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Imports"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-11-09T11:17:44.342663759Z",
     "start_time": "2023-11-09T11:17:44.255730398Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "from nemo.collections.nlp.models import PunctuationCapitalizationModel\n",
    "import os\n",
    "import urllib.request"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Define the local model file path"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "model_file_path = os.path.join(os.getcwd(), 'lad_transcription_bert_ru_punctuator.ckpt')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Download the model from HF, if it's not present locally yet."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "urllib.request.urlretrieve(\"https://huggingface.co/denis-berezutskiy-lad/lad_transcription_bert_ru_punctuator/resolve/main/lad_transcription_bert_ru_punctuator.ckpt?download=true\", model_file_path)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Load the model from file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-11-09T11:21:59.782041947Z",
     "start_time": "2023-11-09T11:18:22.476570188Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "punctuator_ru = PunctuationCapitalizationModel.load_from_checkpoint(model_file_path)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Optionally move the model to GPU"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-11-09T11:22:12.010160548Z",
     "start_time": "2023-11-09T11:22:07.829832818Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "punctuator_ru = punctuator_ru.cuda()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "Test with NeMo pre- and postprocessing scripts. Please note that NeMo cannot handle hyphens, dashes and abbreviations.\n",
    "Example of proper handling is provided further."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-11-09T11:22:17.011313801Z",
     "start_time": "2023-11-09T11:22:14.372629542Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "punctuator_ru.add_punctuation_capitalization(\n",
    "    [\n",
    "        \"как тебя зовут\",\n",
    "        \"меня зовут антон\",\n",
    "        \"добрый день уважаемые коллеги можно нам презентацию включить хочу предоставить доклад о работе комитета по транспорту дорожному хозяйству по планам работ по ремонту содержанию дорожной сети на двадцать третий год первый слайд\",\n",
    "        \"товарищи я хочу выступить с предложением почему бы нам не назначить виктора ивановича председателем комиссии он давно себя зарекомендовал как ответственный работник а то кое кто в мвд санкт петербурга давно уже упрекает нас в отсутствии ответственности прошу голосовать\",\n",
    "    ],\n",
    "    return_labels=False\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-11-09T11:22:35.801754410Z",
     "start_time": "2023-11-09T11:22:33.568003640Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": [
    "transcription_texts = [\n",
    "    '''уважаемые коллеги сегодня среда 19 апреля 2023 года 10 часов утра я открываю 1590 е заседание московской городской думы присутствуют 23 депутата кворум имеется можем начинать работу уважаемые коллеги к нам поступило письмо от депутата бабаяна романа георгиевича с просьбой считать уважительной причину его отсутствия на заседании думы 19 апреля 2023 года в связи с производственной необходимостью будут возражения спасибо на голосование ставится письмо депутата бабаяна с просьбой считать уважительной причину его отсутствия на заседании думы в связи с производственной необходимостью электронной группе приготовиться к голосованию внимание идет голосование за 22 против 1 воздержались 1 решение принимается коллеги поступило письмо от депутата киселевой марии александровны с просьбой считать уважительной причину ее отсутствия на заседании думы 19 апреля 2023 года в связи с командировкой по основному месту работы будут возражения коллеги на голосование ставится письмо депутата киселевой с просьбой признать причину ее отсутствия на заседании уважительной в связи с командировкой по основному месту работы электронной группе приготовиться к голосованию внимание идет голосование за 25 против 1 воздержались 0 коллеги к нам поступило письмо от депутата рыжкова с просьбой считать причину его отсутствия на заседании думы 19 апреля 2023 года уважительной в связи с занятостью по основному месту работы будут возражения на голосование ставится письмо депутата рыжкова с просьбой считать причину его отсутствия на заседании думы 19 апреля 2023 года уважительной электронной группе приготовиться к голосованию внимание идет голосование за 23 против 6 воздержались 1 решение принимается коллеги поступило письмо от депутата самышиной елены александровны с просьбой считать причину ее отсутствия на заседании думы 19 апреля 2023 года уважительной в связи с болезнью будут ли возражения спасибо возражений нет поступило письмо от депутата николаевой елены леонидовны с просьбой считать уважительной причину ее отсутствия на заседании думы 19 апреля 2023 года в связи с плохим самочувствием возражения есть на голосование ставится предложение о принятии протокольного решения о признании причины отсутствия депутата николаевой на заседании думы уважительной елена анатольевна сейчас быстро все приведем в порядок электронной группе приготовиться к голосованию внимание идет голосование за 27 против 1 воздержались 0 решение принимается коллеги не будет возражений о рассмотрении в первоочередном порядке вопросов повестки дня номер 1 3 и 7 на голосование ставится проект протокольного решения о рассмотрении вопросов номер 1 3 и 7 в первоочередном порядке''',\n",
    "    '''наверняка редактор проекта действовал из лучших побуждений не хотел лоббировать интересы единственного производителя и не хотел призывать мэра москвы нарушить законодательство российской федерации он просто не посчитал необходимым обратиться за помощью к более опытным коллегам и продумать документы чтобы внести то что у коллег вызовет только какие то дискуссионные вопросы а не вот такие однозначные которые на первом же заданном вопросе собственно говоря и выплыли наружу вот собственно говоря пример по поводу рассмотрения на комиссиях у нас получается то же самое на предыдущем вопросе нас призывали работать так как это сейчас этот документ конечно я отклонять не буду потому что уверен что редактор преследовал только хорошие правильные положительные цели тем не менее и поддержать его в таком виде тоже не могу поэтому буду воздерживаться при голосовании спасибо спасибо александр сергеевич уважаемые коллеги прозвучали выступления от фракций мы движемся уже по записи слово предоставляется депутату локтеву напоминаю что в разном у нас выступления по регламенту до трех минут коллеги просьба укладываться депутат локтев прошу вас в вашем распоряжении до трех минут уважаемые коллеги добрый день ну наверное в основной оценке обращения поддержу точку зрения одного из депутатов что это действительно добрый популизм не так давно мы оказались буквально в новой реальности которая нас как ледяная вода вернула к тому что на самом деле происходит оказалось что подавляющая часть автопарка это автомобили произведенные либо по лицензии либо в странах с кем сейчас идет невероятно жесткое противостояние как же так получилось а получилось так что на протяжении большого количества лет убивалась автомобильная да и любая другая промышленность особенно в городе москве на месте наших прекрасных заводов сейчас стоят уродливые на мой взгляд человейники и апартаменты и также оказалось что в нашей прекрасной на мой взгляд стране мы даже садовую тачку не можем произвести без китайских деталей то есть зависимость налицо в связи с этим инициатива сергея сергеевича безусловно актуальная это наверное первый осознанный шаг к экономической независимости от решений других государств по поводу самой модели могу сказать что во время объездов избирательного округа вижу состояние дорог а также качество очистки этих самых дорог в моем избирательном округе в районе куркино это дает нам довольно жесткое понимание что все таки рамные автомобили кроссоверы будут более актуальны в нашей москве и особенно на ее окраинах довольно низкая степень локализации этого китайского автомобиля jac js4 который воплощается под вывеской москвич не сможет адекватно соответствовать всем потребностям мэрии и московской городской думы'''\n",
    "]\n",
    "\n",
    "punctuated_results = punctuator_ru.add_punctuation_capitalization(\n",
    "    transcription_texts,\n",
    "    return_labels=True\n",
    ")\n",
    "results = []\n",
    "for transcription_text, punctuated_result in zip(transcription_texts, punctuated_results):\n",
    "    labels_lists = punctuated_result.split()\n",
    "    processed_words = []\n",
    "    for word, label in zip(transcription_text.split(), labels_lists):\n",
    "        # Apply capitalization mark.\n",
    "        if label[1] == 'O':\n",
    "            word = word.lower()\n",
    "        elif label[1] == 'U':\n",
    "            word = word.capitalize()\n",
    "        if label[1] == 'T':\n",
    "            word = word.upper()\n",
    "        # Append punctuation, if necessary.\n",
    "        if label[0] != 'O':\n",
    "            word += label[0]\n",
    "        processed_words.append(word)\n",
    "    result = ' '.join(processed_words)\n",
    "    # Special handling for dashes and hyphens.\n",
    "    result = result.replace('- ', '-').replace('— ', ' — ')\n",
    "    results.append(result)\n",
    "\n",
    "print('\\n'.join(results))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}