厦大版闽南方言人工智能语音系统 会听会说还会写

莆田安福家园报道：http://www.anfu4444.com   作者：安福家园    时间：2022年10月23日

好势

闽南话翻译体系，咱们也有

厦大团队2019年推出闽南方言人工智能语音体系

厦大版触及文字，可将汉字转化组成闽南话发音

树立一套兼容各地不同口音的闽南话发音体系

安福相册讯,本月19日，在美国Meta公司发布闽南话翻译体系、Meta首席执行官马克·扎克伯格亲身演示体系把闽南话翻译成英语时，千里之外的厦门大学信息学院副教授、智能语音实验室负责人洪青阳收到一大堆朋友的简讯，他们刻不容缓地想告诉他：小扎对闽南话下手了！可是，你们两年前不是现已推出闽南话翻译体系了吗？

是的！洪青阳科研团队和厦大人文学院许彬彬科研团队，在2019年推出闽南方言人工智能语音体系，这是一个听得懂闽南话、会说闽南话、也能够写的AI（人工智能）驱动的闽南话语音翻译体系，帮助许多人体会用“我国最难学方言之一”交流的乐趣和便利。

它能做什么？

可实时翻译还能辨认文本

昨日，洪青阳在实验室演示厦大版的闽南话翻译体系。体系的小助手用闽南话说:听说现在能够将闽南话翻译成英语，真巧，咱们也有闽南话AI……小助手一边说，体系实时把它的闽南话翻译成中文文字。

不仅听得懂，体系还会说。洪青阳随后演示实时翻译，他用闽南话说:即阵仔有闲无？体系能够立刻翻译为一般话“现在有空吗？”当然，用一般话说，体系也会翻译成闽南话，并且是有腔调的闽南话。小助手说，翻译不限短句，理论上说多长就能够翻译多长。

此外，体系还能够辨认不同区域不同口音闽南话，包含厦门、泉州、漳州、潮汕等地。

洪青阳团队以为，从现有材料看，Meta是语音到语音的翻译，没有发生文字，技术计划是从端到端，研讨具有开创性，但还不够灵活，比如不能形成辨认文本，要延伸到其他应用较难。

在这方面，厦大版闽南话翻译体系，有其先进性——厦大版还触及文字，能够将汉字转化组成闽南话发音，还有语音辨认、组成东西，能够将闽南话翻译成一般话，一般话翻译成闽南话。

美国版闽南话翻译体系是把闽南话翻译为英语，洪青阳说，关于厦大版闽南话翻译体系来说，这毫无问题，最难的部分是将闽南话翻译并显现为一般话，而这现已处理了。

现在，厦大团队的闽南话翻译体系现已上线，在微信的小程序搜索“闽南话辨认”和“AI语音组成”，就能够实现闽南话和一般话的无障碍交流。

洪青阳说，2019年推出体系后，依旧在不断完善晋级——当发音速度不一、吞音等状况出现时，体系的背后还有一位“把关人”。当遇上体系无法辨认的语音时，许彬彬团队就会进行剖析，把新的表达整理成文档，扩大词典和语句语料。与此同时，洪青阳团队在体系后台不断完善算法，以学习到更多口音和冷僻词汇。

厦大团队昨日说，他们在实验室完结0到1的研制，期望有更多人和社会资源参加进来，完结1到100的产业化，助力于闽南话学习和人际交往等等。

它牛在哪里？

听得懂不同口音的“猪”

闽南话的AI翻译，难度不小。闽南话存在十分多的多音字，杂乱的文白现象，有音无字的问题等，洪青阳说，这对练习模型中语音数据与其对应音素的正确映射，带去较大的费事。

举个比如大家或许就会理解，厦门人经常说，“猪”牵出厦门岛就不叫“猪”了，意思是说，单是“猪”，岛内和岛外发音就不一样，更不用说厦漳泉区域了。厦大版的闽南话翻译体系处理了这类难题，从现在看，有三大亮点。

有地基

从头树立闽南话发音词典

洪青阳介绍，翻译的最大难题是要怎么把闽南话发音拆分为声母和韵母，它不同于一般话的声母韵母，虽然之前也有一些闽南话的标音办法，可是，厦大团队发现，这种自创的闽南话发音难以和AI有机结合起来，因而厦大研讨人员自己树立一套兼容各地不同口音闽南话发音的体系，等于是为各种口音的闽南话树立一个根本的“地基”，当然，它不同于一般话发音，它是有九个声调的。

有材料库

包括厦漳泉多地的语音材料

树立语音材料库，用大白话说，这个语音材料库要有满足多人的语音，口音要不同，还要有男女老少语音，这样，AI才会通过语音材料库去辨认不同区域不同口音的闽南话。

这是根据许彬彬近十年来的研讨成果。许彬彬带领团队借鉴整理了很多语音材料——包括省内厦漳泉多地的闽南方言、文本，乃至搜集境外多处讲闽南话的地址的语音材料。

此外，每到寒暑假，许彬彬团队还会去各地进行郊野查询。许彬彬早前承受本报采访时曾介绍:“省内的德化、漳浦、南靖、东山等，以及菲律宾北部城市、美国东部区域，每一个地址至少要逗留5天，尽可能全面地搜集该区域语音材料。”

有模型

规划声学模型和言语模型

洪青阳团队规划了闽南话的声学模型和言语模型，其间声学模型与发音词典关联，尽可能学习到各地的口音，以不断提升体系的鲁棒性（控制体系的稳定性），言语模型则采用具有丰厚语料的一般话文本练习，对用户上下文内容进行有效束缚。

洪青阳说，这里的难点是闽南话拼音和一般话词汇的对应，团队因而又规划了辨认词典，并整合到解码体系里，最终能直接用一般话文字显现辨认内容。关于语音组成，洪青阳团队采用端到端建模结构，并做了前端的很多优化，使闽南话组成愈加自然，愈加逼真，也更快捷。

除了许彬彬所提供的语音材料外，他们还邀请了众多志愿者参加辨认测验，让体系“学习”不同口音的闽南话。待体系根本“学会”不同口音的闽南话后，洪青阳又给体系加大了难度——文读（读书认字时教的语音）和白读（日常生活中广泛运用的语音）都要会。

闽南话中存在很多多音字，有着杂乱的文读白读现象，以“大学”这一词为例，就有文读和白读两种读法。研讨人员对闽南话语音辨认采取了特定规则的发音词典标注，并用改造后的算法树立了闽南话语音辨认模型。

为什么选它？

全球约七千万人说闽南话

在美国Meta公司发布闽南话翻译体系后，很多人很吃惊:为什么是闽南话？

原因也很简单，现在，全世界大约有7000万人在说闽南话，散布在福建的厦、漳、泉区域，台湾区域，广东潮汕，雷州半岛，海南岛部分区域以及浙江温州部分乡镇等，此外还有宽广的东南亚。与此同时，闽南话被称为“我国最难学方言之一”。

2013年，洪青阳和许彬彬团队开端闽南话翻译体系研讨，洪青阳说，这源于团队中不少人都是闽南人，有闽南情怀。并且，闽南话是我国重要方言之一。与此同时，许彬彬深耕闽南方言等汉语方言研讨多年。

当然，Meta公司以为，之所以选择闽南话，还有一个原因:为了处理缺少文字语种的言语翻译难题。可是，洪青阳说，其实闽南话是有用于书面记载的文字和发音词典。

莆田鞋哪家最稳