Data Engineer / ETL & Data Integration

Проектирование надежных DWH и отказоустойчивых Data Pipelines

Ведущий инженер данных с практическим опытом работы на проектах интеграции и миграции данных. Спроектировал и вывел в production более 1000 интеграционных потоков, внедряю стандарты моделирования (Data Vault 2.0, Kimball SCD2), архитектуру C4 и культуру поддерживаемой документации.

LinkedIn GitHub Profile

Технологический стек

Инструменты и технологии, применяемые на реальных проектах и в архитектуре хранилищ

⚡

Оркестрация & ETL/ELT

Apache NiFi & Arenadata Streaming (Kafka, NiFi)
Apache Airflow (DAGs, Sensors, Pools, Isolation)
dbt Core (Seeds, Incremental, Tests, Docs)
DATAREON Platform, SAP BO Data Services

🗄️

СУБД & Хранилища (DWH)

PostgreSQL (Схемы, Оконные функции, DDL/DML, Индексы)
Greenplum, Oracle SQL
ChromaDB (Vector Database & Similarity Search)

📐

Моделирование данных

Реляционная нормализация (1NF – 3NF)
Data Vault 2.0 (Hubs, Links, Satellites, Audit)
Kimball / Star Schema (Факты и Измерения)
SCD Type 2 (Версионирование сущностей, интервалы дат актуальности)

🛠️

Языки & Инфраструктура

Python (FastAPI, Pydantic, Pandas, openpyxl)
SQL (Продвинутая аналитика, оптимизация планов)
Bash, Linux, Docker & Compose, Git
Базово знаком с синтаксисом Java

🤖

AI & Data Applications

RAG-архитектура (Retrieval-Augmented Generation)
Sentence Transformers (intfloat/multilingual-e5-base)
Ollama (Qwen / Llama), Vector Ingestion Pipelines

Ключевые проекты

Репозитории с открытым исходным кодом, спроектированные по промышленным стандартам

ELT Pipeline / Orchestration

Automated ELT DWH Pipeline (Airflow & dbt Core) ↗

End-to-End конвейер инжестинга и обработки регулярных выгрузок заказов с изоляцией слоев, контролем идемпотентности, историзацией в Data Vault 2.0 и построением витрин Star Schema.

                Архитектура: 6 независимых DAG-ов Airflow 2.9.2, последовательно управляющих доставкой и обработкой данных; dbt Core отвечает за SQL-трансформации внутри PostgreSQL.
              

                Моделирование: staging → core (Data Vault 2.0: Hubs, Links, Sats + sat_source_load) → marts (Kimball Star Schema, Dimensions SCD2, Fact).
              

                Артефакты: Диаграммы C4 (Container & Component в .drawio/.png), ADR по разделению ролей и Runbook по эксплуатации.
              

Data Modeling / DWH Architecture

Relational Modeling & Analytical DWH ↗

Проектирование перехода от строго нормализованной реляционной схемы (3NF) к аналитическому хранилищу по методологии Кимбалла с поддержкой историчности Slowly Changing Dimensions Type 2 (SCD2).

                Архитектура: Преобразование исходной неструктурированной модели через 0NF → 1NF → 2NF → 3NF с последующей историзацией SCD Type 2, расчет интервалов актуальности (effective_from / effective_to, is_current) и формированием аналитического факта.
              

                Моделирование: staging → core; отдельная учебная ветка Data Vault 2.0 с Hubs, Links, Satellites + sat_source_load → marts (Dimensions SCD2, Fact).
              

                Артефакты: ER-диаграмма, диаграмма потока моделирования (Mermaid), ADR по выбору SCD2 и суррогатных ключей, воспроизводимый Runbook.
              

AI Data Engineering / RAG

Corporate AI Bot & RAG Service ↗

Микросервисный конвейер интеграции корпоративной базы знаний с локальными большими языковыми моделями (LLM) через векторный поиск, семантический чанкинг и API.

                Архитектура: Сквозной RAG-конвейер на FastAPI, ChromaDB, эмбеддинги multilingual-e5-base и локальной LLM через Ollama с разделением компонентов поиска, генерации, безопасности и телеметрии.
              

                Инженерия данных: Пайплайн чанкинга, оптимизация метрик близости (cosine similarity, score threshold, top_k) и потоковый ответ контекста.
              

                Безопасность: Трёхуровневые барьеры безопасности (фильтрация входа, очистка контекста, проверка ответа) со специализированными тестами на устойчивость к инъекциям промптов и галлюцинациям.
              

                Наблюдаемость: Двойной контур логирования: системный аудит и продуктовая телеметрия качества RAG с измерением задержки на этапах поиска retrieval, инференса модели LLM и общего времени ответа total latency.
              

                Артефакты: C4 Container, C4 Component, Dynamic Sequence, Dual Logging Flow, Code Filters и Code Pipeline; ADR по Security & Observability и эксплуатационный Runbook.
              

Опыт и достижения

Практический бэкграунд работы на масштабных enterprise-проектах

Март 2021 — настоящее время ООО «IBS» Инженер данных (Lead Data Engineer)

Масштаб разработки: спроектировал, отладил и вывел в production более 1000 стабильных потоков интеграции и трансформации данных (Apache NiFi, Airflow, Arenadata Streaming, PostgreSQL, Greenplum, Oracle).
Импортозамещение и миграции: перенос интеграционных контуров из Informatica PowerCenter в Arenadata Streaming; миграция справочников из СУБД Oracle в PostgreSQL.
Управление и стандартизация: выполнение функций тимлида группы инженеров (4 чел.), разработка унифицированных шаблонов потоков (сокращение TTM разработки новых конвейеров на 40%).
Наблюдаемость (Observability): спроектировал и внедрил модуль сквозного логирования и оповещения об ошибках для шины данных (сокращение времени реакции на инциденты на 30%).

Инженерные стандарты портфолио

Культура разработки и документирования, подтвержденная кодом в репозиториях

C4 Model Architecture

Визуализация на уровнях Container и Component с хранением редактируемых исходников (.drawio) и готовых схем (.png).

ADR (Architecture Decision Records)

Фиксация обоснований технологического выбора, зон ответственности компонентов, компромиссов и известного техдолга.

Operational Runbooks

Пошаговые руководства по локальному развертыванию, отладке, проверке тестов, макросам очистки и алгоритмам устранения сбоев.

Идемпотентность и Data Quality

Контроль уникальности и истории загрузок (sat_source_load), проверки целостности и безопасность повторных перезапусков.

Контакты для связи

Открыт к предложениям на позицию Senior / Lead Data Engineer

LinkedIn Profile lelikov2@yandex.ru GitHub: lelik-bolek