Kalkulator word error rate

Dlaczego ten podział ma znaczenie

Wskaźnik word error rate to suma zamienionych, usuniętych i wstawionych słów podzielona przez długość prawidłowej transkrypcji. To rzetelny pomiar, który traktuje każde słowo z równą wagą.

Na tym polega problem. Weźmy dwie transkrypcje tej samej godziny nagrania. Jedna ma błąd 3%, a każdy błąd to słowo posiłkowe lub powtórzenie. Druga ma błąd 1%, ale błędy to nazwisko, kwota w dyskusji o budżecie i pominięte „nie”. W testach porównawczych ta druga wygrywa trzykrotnie. Pierwszą można opublikować, a druga sprawia, że ktoś rzekomo zgadza się na coś, co w rzeczywistości odrzucił.

Wartość na górze to liczba, którą zwykle widzi się na stronach marketingowych — natomiast tabela poniżej decyduje o tym, czy transkrypcja w ogóle do czegoś się nadaje. Szersze omówienie tego zagadnienia zamieściliśmy w artykule Co tak naprawdę oznacza „99% dokładności”.

Jak działa zliczanie

Wielkość liter i interpunkcja są ignorowane

Zgodnie ze standardową definicją tego wskaźnika. Zwroty „The cat sat.” oraz „the cat sat” są traktowane jako identyczne.

Nazwiska to słowa pisane wielką literą w środku zdania

Uproszczone, ale uczciwe przybliżenie: każde zdanie zaczyna się wielką literą, więc wielka litera na początku zdania o niczym nie świadczy i nie jest zliczana.

Liczby obejmują cyfry i słowne liczebniki

„240”, „eleven” i „percent” trafiają do tej samej kategorii. Cyfry są uwzględniane w każdym języku; liczby zapisane słownie i przeczenia — tylko w języku angielskim.

Każde słowo trafia do dokładnie jednej kategorii

Najważniejsze na początku: pominięte „no” jest liczone jako negacja bez względu na to, czy było zapisane wielką literą.

Wtrącenia nie mają przypisanej kategorii

Kategorie są zliczane na podstawie poprawnej transkrypcji, a zmyślone słowo nie ma w niej odpowiednika. Mimo to wlicza się do wskaźnika błędów.