Серьезные усовершенствования в алгоритме проверки текста

В течение нескольких месяцев мы собирали отзывы от наших пользователей о качестве работы нашего сервиса. В результате мы выявили недоработки в скрипте проверки текста на уникальность.

Во-первых, были выявлены группы текстов со схожей структурой, уникальность которых определялась неверно. Для исправления этой недоработки в алогритм проверки были внесены изменения.

Во-вторых, некоторые страницы, были решены проблемы с определением и изменением кодировки страниц, с которыми шло сравнение исходного текста. Также был улучшен алгоритм выделения текстового содержимого указанных страниц.

В третьих, использование облачного хостинга позволило изменить алгоритм в сторону значительного увеличения потребляемых ресурсов с целью увеличить качество проверки текстов. Предыдущая версия алгоритма не создавала значительной нагрузки на сервера, поэтому мы решили внести изменения, которых ранее избегали, потенциально увеличивающие нагрузку в разы.

В ближайшие недели мы будем особо тщательно отслеживать статистические изменения в нагрузке и качестве работы сервиса. Надеемся на обратную связь с вами в виде отзывов и предложений.

Если тестирование нового алгоритма пройдёт успешно, он будет внедрён в модуль проверки сайтов.