Калькулятор Word Error Rate

Чому деталізація має значення

Word Error Rate (показник похибки слів) — це сума замінених, пропущених і доданих слів, поділена на загальну довжину еталонного тексту. Це об'єктивна метрика, яка розглядає кожне слово як однаково важливе.

У цьому й проблема. Візьмемо дві розшифровки одного й того ж годинного запису. У першої помилок 3%, але всі вони — слова-паразити чи фальстарти. У другої — 1%, але серед помилок — прізвище, сума в бюджеті та пропущена частка «не». За формальними тестами друга краща втричі. Але першу можна публікувати, тоді як друга показує, що людина нібито погодилася на те, від чого насправді відмовилася.

Число вгорі — це цифра, яку ви зазвичай бачите на рекламних сторінках. А таблиця під ним визначає, чи є від розшифровки взагалі якась користь. Детальніше ми пояснили це у статті Що насправді означає «точність 99%».

Як ведеться підрахунок

Регістр і пунктуація ігноруються

За стандартним визначенням метрики. «The cat sat.» і «the cat sat» оцінюються як повністю ідентичні.

Власні назви — це слова з великої літери всередині речення

Просте наближення, і цілком чесне: кожне речення починається з великої літери, тому перше слово нічого не показує і не враховується.

Числа охоплюють цифри та числівники

«240», «eleven» і «percent» потрапляють в одну категорію. Цифри враховуються будь-якою мовою; числівники словами та заперечення — лише англійською.

Кожне слово потрапляє лише в одну категорію

Найважливіше спочатку: пропущене «no» зараховується як заперечення незалежно від того, чи було воно з великої літери.

Вставки не мають окремої категорії

Категорії рахуються за еталонним текстом, а вигадане системою слово не має там відповідника. Проте воно все одно враховується в загальний відсоток помилок.