languages.py

"""Languages in different datasets- with cv LC naming"""

CV_LANGUAGES: list[str] = [
    "aa",
    "ab",
    "abb",
    "ace",
    "ady",
    "af",
    "am",
    "an",
    "ar",
    "arn",
    "as",
    "ast",
    "az",
    "azz",
    "ba",
    "bal",
    "bas",
    "bax",
    "bba",
    "bbj",
    "bci",
    "be",
    "beb",
    "bfd",
    "bg",
    "bkm",
    "bm",
    "bn",
    "bnm",
    "bo",
    "br",
    "bri",
    "bs",
    "bum",
    "bxr",
    "byv",
    "ca",
    "cak",
    "cdo",
    "ckb",
    "cnh",
    "co",
    "crh",
    "cs",
    "cv",
    "cy",
    "da",
    "dag",
    "dar",
    "dav",
    "de",
    "dsb",
    "dua",
    "dv",
    "dyu",
    "ebr",
    "ee",
    "el",
    "en",
    "eo",
    "es",
    "et",
    "eto",
    "eu",
    "ewo",
    "fa",
    "fan",
    "ff",
    "fi",
    "fo",
    "fr",
    "fub",
    "fue",
    "fuf",
    "fy-NL",
    "ga-IE",
    "gl",
    "gn",
    "gom",
    "gos",
    "gu-IN",
    "guc",
    "gya",
    "ha",
    "he",
    "hi",
    "hil",
    "hr",
    "hsb",
    "ht",
    "hu",
    "hy-AM",
    "hyw",
    "ia",
    "ibb",
    "id",
    "ie",
    "ig",
    "is",
    "it",
    "izh",
    "ja",
    "jbo",
    "jv",
    "ka",
    "kaa",
    "kab",
    "kbd",
    "ki",
    "kk",
    "kln",
    "km",
    "kmr",
    "kn",
    "knn",
    "ko",
    "kpv",
    "ksf",
    "kw",
    "ky",
    "lb",
    "lg",
    "lij",
    "ln",
    "lo",
    "lt",
    "ltg",
    "luo",
    "lv",
    "lzz",
    "mai",
    "mbo",
    "mdf",
    "mg",
    "mhr",
    "mk",
    "ml",
    "mn",
    "mni",
    "mos",
    "mr",
    "mrj",
    "ms",
    "mt",
    "mxu",
    "my",
    "myv",
    "nan-tw",
    "nb-NO",
    "nd",
    "ne-NP",
    "nhe",
    "nhi",
    "nia",
    "nl",
    "nn-NO",
    "nnh",
    "nqo",
    "nr",
    "nso",
    "ny",
    "nyn",
    "oc",
    "om",
    "or",
    "os",
    "pa-IN",
    "pap-AW",
    "pcm",
    "pl",
    "ps",
    "pt",
    "quc",
    "quy",
    "qvi",
    "qxp",
    "rif",
    "rm-sursilv",
    "rm-vallader",
    "ro",
    "ru",
    "rw",
    "sah",
    "sat",
    "sc",
    "scn",
    "sco",
    "sd",
    "sdh",
    "shi",
    "shn",
    "si",
    "sk",
    "skr",
    "sl",
    "snk",
    "so",
    "sq",
    "sr",
    "ss",
    "st",
    "sv-SE",
    "sw",
    "syr",
    "ta",
    "te",
    "teg",
    "tg",
    "th",
    "ti",
    "tig",
    "tk",
    "tl",
    "tn",
    "tok",
    "tr",
    "ts",
    "tt",
    "tui",
    "tvu",
    "tw",
    "ty",
    "tyv",
    "uby",
    "udm",
    "ug",
    "uk",
    "ur",
    "uz",
    "ve",
    "vec",
    "vi",
    "vmw",
    "vot",
    "wep",
    "wes",
    "wo",
    "xh",
    "yi",
    "yo",
    "yue",
    "zgh",
    "zh-CN",
    "zh-HK",
    "zh-TW",
    "zu",
    "zza",
]

WHISPER_LANGUAGES: list[str] = [
    "ar",
    "as",
    "az",
    "ba",
    "be",
    "bg",
    "bn",
    "br",
    "ca",
    "cv",
    "cy",
    "da",
    "de",
    "el",
    "en",
    "es",
    "et",
    "eu",
    "fa",
    "fi",
    "fr",
    "gl",
    "ha",
    "hi",
    "hu",
    "hy-AM",
    "id",
    "is",
    "it",
    "ja",
    "ka",
    "kk",
    "ko",
    "lo",
    "lt",
    "lv",
    "mk",
    "ml",
    "mn",
    "mr",
    "mt",
    "ne-NP",
    "nl",
    "nn-NO",
    "oc",
    "pa-IN",
    "pl",
    "pt",
    "ro",
    "ru",
    "sk",
    "sl",
    "sr",
    "sv-SE",
    "sw",
    "ta",
    "th",
    "tk",
    "tr",
    "tt",
    "uk",
    "ur",
    "uz",
    "vi",
    "yo",
    "yue",
    "zh-CN",
]

FLEURS_LANGUAGES: list[str] = [
    "ar",
    "as",
    "ast",
    "az",
    "be",
    "bg",
    "bn",
    "ca",
    "ckb",
    "cs",
    "cy",
    "da",
    "de",
    "el",
    "en",
    "es",
    "et",
    "fa",
    "fi",
    "fr",
    "ga-IE",
    "gl",
    "ha",
    "hi",
    "hu",
    "hy-AM",
    "id",
    "ig",
    "is",
    "it",
    "ja",
    "ka",
    "kk",
    "ko",
    "ky",
    "lg",
    "lo",
    "lt",
    "lv",
    "mk",
    "ml",
    "mn",
    "mr",
    "mt",
    "ne-NP",
    "nl",
    "oc",
    "or",
    "pa-IN",
    "pl",
    "pt",
    "ro",
    "ru",
    "sk",
    "sl",
    "sr",
    "sv-SE",
    "sw",
    "ta",
    "th",
    "tr",
    "uk",
    "ur",
    "uz",
    "vi",
    "yo",
    "yue",
]

VOXPOPULI_LANGUAGES: list[str] = [
    "cs",
    "de",
    "en",
    "es",
    "et",
    "fi",
    "fr",
    "hu",
    "it",
    "lt",
    "nl",
    "pl",
    "ro",
    "sk",
    "sl",
]

# LANGUAGES WITH EXTERNAL TEST SET
LANGUAGES_ALLOWED: list[str] = sorted(list(set(VOXPOPULI_LANGUAGES + FLEURS_LANGUAGES)))