Постепенное усложнение алгоритма за последние месяцы привело к тому, что время проверки увеличилось, порой проверка занимала до полутора минут. Каждый новый модуль встраивался в уже готовую систему, поэтому пришло время переписать часть кода, чтобы модули взаимодействовали наилучшим образом.

Кроме того, выявление "медленных" мест кода за последние недели дало много информации об узких местах алгоритма. В результате, мы переписали большую часть кода, одновременно внедрив новый алгоритм модуля сравнения текстов.

Качество

Целью было ускорить проверку при улучшении качества, потому что качество проверки - наш главный приоритет.

В результате обновления, проверка стала находить больше страниц и лучше сравнивать их между собой. Вы сможете заметить увеличение количество страниц, на которых найдены совпадения.

Скорость

Для увеличения скорости проверки, были выделены три модуля, работающие медленно. Для их ускорения была изменена архитектура, часть кода была переписана, и теперь все они работают более чем в десять раз быстрее.

Ранее, время проверки текста, в зависимости от различных параметров, занимало до десяти секунд до двух минут. Сейчас проверка занимает от пяти секунд до пятнадцати. Редкая проверка занимает двадцать секунд или больше, хотя и такое бывает, когда контент сравниваемой страницы очень велик.

Обратите внимание, новый алгоритм сейчас встроен только в проверку текстов. Модуль проверки сайтов в ближайшее время будет полностью переработан с новым интерфейсом и алгоритмом.