Как можно эффективно найти опечатки в словах?

231
08 февраля 2019, 17:20

Задача: Есть предложения и нужно получить список похожих слов.

Пробовал вот такой путь, но он не эффективен:

Я удаляю всю пунктуацию и делю все на слова, деля по пробелу.

В итоге у меня получается ~170 000 уникальных слов.

Далее, я думал все это прогнать через какой-нибудь алгоритм вычисления похожести слов, например Расстояние Левенштейна, а потом используя некоторых критерий похожести получить похожие отсея слова, которые очень сильно отличаются для ручного просмотра и корректировки.

Однако, сравнивая слова между собой-это где-то 170 000^2 итераций => долго.

Как можно повысить эффективность?

READ ALSO
Unity3d Реализация Мультитача

Unity3d Реализация Мультитача

У меня есть в GUI три 2D кнопки - влево, вправо, вверхИ мне необходимо реализовать одновременное нажатие кнопок

227
В каких случаях необходимо или удобнее использовать оператор yeild?

В каких случаях необходимо или удобнее использовать оператор yeild?

собственно вопрос - когда в рамках разумности - нельзя обойтись без этого оператора

225
Как использовать прокси с Symfony?

Как использовать прокси с Symfony?

Сайт парсит контент с определенного донор-сайта через CURLВ данный момент блокировка по IP с этого сайта

259
страница благодарности

страница благодарности

Всем привет такая проблема нашёл классный скрипт формы обратной связи вот он:

237