Skip to content

LipNet-1.0.0

Latest
Latest
Compare
Choose a tag to compare
@no4ni no4ni released this 27 Feb 08:21
· 4 commits to master since this release
v1.0.0
e9f7985

[English] Русский
Speech recognition program by lips for 1 scene without cuts with people turned to the camera (knows a little more than 50 English words)

Advantages over the source code:

  • No Python required
  • No need to install additional the environment

Cons:

  • Only Windows is supported
  • Runs a little slower

Requirements:

  • Windows 7+
  • Recommended (in theory not required) to have a NVIDIA GPU
  • Installed CUDA 10.0 (possible without Visual Studio integration, Nsight Compute) in the default path
  • Installed cuDNN 7.6.3 for CUDA 10.0 in the default path
  • Installed Visual Studio 2017+
  • Select in Visual Studio Installer (Workloads: Desktop development with C++, Individual components: Windows SDK (your version))
  • Installed FFmpeg FFmpeg (in C:) (C:\ffmpeg)
  • Download and unzip LipNet.zip
  • Run with PowerShell set_env.ps1
  • 3GB free on C:
  • Reboot

Run:

  • Run runRelease.bat

Compiled from source code from https://github.com/no4ni/LipNet by:

  • Install LipNet
lipnet\lipnet_env\Scripts\activate
pip install --target=libs -r LipNet/requirements.txt
pyinstaller --onefile --add-data "LipNet/common;common" --add-data "LipNet/evaluation;evaluation" --add-data "libs;libs" --icon=[Icon] lipnet\evaluation\predict.py




[Русский]
Программа для распознавания речи по губам для 1 сцены без склеек с людьми повернутыми к камере (знает чуть более 50 английских слов)

Преимущества перед исходным кодом:

  • Не требуется Python
  • Не нужно устанавливать дополнительное окружение

Минусы:

  • Поддерживается только Windows
  • Выполняется немного медленнее

Требования:

  • Windows 7+
  • Рекомендуется (в теории не обязательно) иметь графический процессор NVIDIA
  • Установленное CUDA 10.0 (можно без интеграции Visual Studio, Nsight Compute) в путь по умолчанию
  • Установленный cuDNN 7.6.3 for CUDA 10.0 в путь по умолчанию
  • Установленный Visual Studio 2017+
  • Выберите и установите в Visual Studio Installer (рабочие нагрузки: разработка настольных приложений с использованием C++, отдельные компоненты: Windows SDK (ваша версия))
  • Установите FFmpeg в C:\ffmpeg\
  • Скачать и распаковать LipNet.zip
  • Выполнить с помощью PowerShell set_env.ps1
  • 3 ГБ свободно на C:
  • Перезагрузка

Запуск:

  • Запустить runRelease.bat

Скомпилировано из исходного кода с https://github.com/no4ni/LipNet путём:

  • Установить LipNet
lipnet\lipnet_env\Scripts\activate
pip install --target=libs -r LipNet/requirements.txt
pyinstaller --onefile --add-data "LipNet/common;common" --add-data "LipNet/evaluation;evaluation" --add-data "libs;libs" --icon=[Icon] lipnet\evaluation\predict.py
Assets 3
Loading