Калькулятор Word Error Rate

Почему важна детальная разбивка

Word Error Rate — это сумма замененных, пропущенных и лишних слов, деленная на общее число слов в эталонном тексте. Это строгая математическая метрика, но для нее все слова одинаково важны.

В этом и заключается подвох. Возьмем два транскрипта одного часового разговора. В первом 3% ошибок — и все они приходятся на междометия или запинки. Во втором — 1% ошибок, но искажены фамилия, цифра в смете и выпала частица «не». Второй вариант формально побеждает в бенчмарке с троекратным отрывом. Но первый можно сразу публиковать, а второй приписывает человеку согласие с тем, от чего он отказался.

Число сверху — это то, чем хвастаются на лендингах, а таблица внизу определяет, пригоден ли транскрипт к работе. Подробнее об этом мы рассказали в статье Что на самом деле значит «точность 99%».

Как ведется подсчет

Регистр и пунктуация игнорируются

Согласно стандартному определению метрики: «Кошка села.» и «кошка села» считаются полностью идентичными.

Имена — это слова с заглавной буквы в середине предложения

Грубая, но честная оценка: каждое предложение начинается с заглавной буквы, поэтому слово в начале предложения ничего не говорит о том, имя это или нет, и не учитывается.

Числа охватывают цифры и числительные словами

«240», «eleven» и «percent» попадают в одну и ту же категорию. Цифры учитываются на любом языке; числа словами и отрицания — только на английском.

Каждое слово попадает строго в одну категорию

Сначала самое важное: пропущенное «no» считается отрицанием независимо от того, было ли оно написано с заглавной буквы.

У вставок нет категории

Категории считаются по эталонному транскрипту, а у выдуманного машиной слова там просто нет пары. Но в общей формуле ошибок оно всё равно учитывается.