Кейс: AI-система моніторингу новин
Ілюстративний розбір проєкту, де основна складність - обробка великого потоку тексту й відсіювання шуму.
Задача
Відстежувати згадки за заданими темами в десятках джерел і надсилати підсумки зацікавленим користувачам.
Ручний моніторинг займав години щодня й усе одно був неповним.
Архітектура
Збір матеріалів за розкладом, очищення від службового вмісту, класифікація за темами мовною моделлю, дедуплікація однакових новин із різних джерел.
Далі - формування підсумків і розсилка за підписками користувачів.
Що виявилось найскладнішим
Дедуплікація. Одна новина розходиться десятками джерел із різними заголовками, і користувач не має отримувати її десять разів.
Друге - контроль якості класифікації: модель помиляється, і потрібен механізм зворотного зв'язку для виправлення.
Коротко
У системах обробки потоків текстів основна робота - не збір, а відсіювання дублів і контроль якості класифікації.