Проект: Маркетплейс с интеллектуальным парсингом и экстракции данных (LLM & RAG) - Архитектура и Backend: Спроектировал и реализовал микросервисную архитектуру маркетплейса на FastAPI, обеспечив интеграцию модулей поиска и API рекомендательного сервиса. - MLOps & DevOps: Настроил полный цикл CI/CD (GitHub Actions): от автоматической сборки Docker-образов до развертывания в Google Cloud (Compute Engine). - Инфраструктура: Организовал хранение артефактов в Google Artifact Registry и внедрил безопасную авторизацию через Workload Identity Federation (GCP). - Контейнеризация: Полностью подготовил окружение (backend/frontend) через Docker Compose для бесшовного развертывания. Результат: Полностью автоматизированная инфраструктура, позволившая сократить время доставки новых фич (Time-to-Market). ML PROJECTS (NLP, Generative AI & Agents) Микросервис для автоматического извлечения технических характеристик товаров с веб-страниц по URL и их преобразования в структурированный JSON формат. - Архитектура RAG: Реализовал продвинутую систему поиска контекста (Retrieval), объединив два подхода (Hybrid Search): > BM25 (Keyword Search): для точного поиска специфических технических терминов и числовых параметров. > Semantic Similarity (Vector Search): для понимания контекста и семантически похожих описаний. - Оркестрация: Использовал библиотеку LangChain для создания цепочек обработки данных, управления промптами и интеграции LLM. Технические детали: Настроил пайплайн очистки HTML-контента, разбиения на чанки и финальной валидации ответа модели для обеспечения корректности JSON-схемы на фронтенде. Стек: Python, LangChain, Llama, BM25, ChromaDB, Craw4ai. Мультимодальная поисковая система и AI-агенты Задача: Разработка системы поиска подходящих товаров на основе текстовых и визуальных запросов. - Реализовал систему поиска (retrieval) на базе дообученной модели CLIP, обеспечив сопоставление признаков в едином векторном пространстве. - Спроектировал агентскую логику с использованием autogen и smolagents, внедрив протокол MCP (Model Context Protocol) для интеграции внешних инструментов и контекста. - Провел глубокий анализ качества мультимодального датасета с применением техник Visual Question Answering (VQA) для валидации данных и очистки от артефактов. - Стек: CLIP, autogen, smolagents, MCP, VQA, PyTorch, Hugging Face. Обучение и дообучение языковых моделей (LLM) Задача: Создание пайплайна обучения базовых моделей и их адаптации под специфические текстовые корпуса. - Реализовал полный цикл подготовки данных: провел глубокую нормализацию и очистку от артефактов для повышения качества обучающей выборки. - Осуществил обучение базовой модели и провел Supervised Fine-Tuning (SFT) на диалоговых наборах данных. - Разработал и обучил собственный BPE-токенизатор, оптимизированный под специфику используемых корпусов. - Применил методы эффективного дообучения (LoRA) для оптимизации вычислительных ресурсов и ускорения настройки. - Организовал трекинг экспериментов и мониторинг метрик в ClearML. - Стек: Llama, Qwen, PyTorch, LoRA, ClearML. Система для автоматизации поиска новостей: выделение ключевых сущностей и категоризация потока новостей. - Разработал Multi-task модель на базе RuBERT (DeepPavlov), объединяющую задачи именованных сущностей (NER) и классификации текста (CLS) с кастомной функцией потерь. - Реализовал сложный пайплайн подготовки данных: ручная токенизация, разметка по схеме BIO и выравнивание лейблов после BPE-токенизатора. - Спроектировал архитектуру с «двумя головами», что позволило оптимизировать нагрузку при одновременном решении нескольких NLP-задач. ML PROJECTS (RecSys & Risk Scoring) Разработка и валидация моделей кредитного скоринга (PD) и макро-прогнозирования - Решил проблему экстремальной мультиколлинеарности макроэкономических временных рядов (>270 пар) с помощью L2-регуляризации (Lasso-регрессия), отобрав ключевые предикторы с учетом временных лагов. - Провел сравнительный анализ моделей CatBoost и Logistic Regression в условиях сильного дисбаланса классов (доля целевого события < 5%) с подбором оптимальных порогов отсечения (cut-off). - Оценил модели не только по метрикам дискриминации (Gini, ROC AUC, PR AUC), но и по калибровочной точности (Brier Score, построение квантильных Reliability Diagrams). Обосновал выбор линейной модели за счет более высокой стабильности ранжирования. - Реализовал сквозной пайплайн обучения с автоматическим логированием экспериментов, параметров и моделей в MLflow. Обеспечил прозрачность моделей (White-box) для риск-менеджмента за счет автоматической генерации SHAP-объяснений (summary и beeswarm plots).