Data Engineer

Мы ИТ-команда «Северстали». Разрабатываем и поддерживаем ИТ-решения для одной из самых эффективных в мире горно-металлургических компаний. Делаем продукты для себя и для клиентов.

Мы решаем сложные технологические задачи: внедряем компьютерное зрение, анализируем большие данные, автоматизируем процессы на производстве. А ещё проектируем интерфейсы, создаём программное обеспечение и рассказываем, как ИТ помогает развивать металлургию — делимся опытом и знаниями внутри компании и за её пределами.

Мы работаем совместно с производством. Знаем, как устроены процессы в цехах, говорим с бизнесом на одном языке. Нас объединяет желание создавать инновационные решения, которые помогают компании расти, а людям — работать с удовольствием.

Чем Вы будете заниматься:

• настраивать интеграцию с внешними и внутренними источниками;
• осуществлять построение ETL-пайплайнов;
• осуществлять проверку качества данных;
• регистрировать происхождения данных;
• осуществлять настройку систем мониторинга;
• осуществлять поддержку систем интеграции;
• писать, параметризировать и профилировать (тюнинг) запросы к СУБД;
• писать библиотеки и сервисы интеграции.

Мы ожидаем, что Вы:

• имеете от 3 лет проектного опыта в области инженерии данных;
• имеете опыт разработки на Python или Scala или Java;
• имеете опыт интеграции и обработки данных: Apache Nifi, Apache Airflow, Apache Kafka, Apache Spark;
• знаете архитектуры данных, особенности и проблемы реализации различных алгоритмов обработки данных;
• понимаете подходы к обработке данных;

• понимаете принципы и основные методы построения архитектуры платформ данных;

• имеете опыт работы в Linux, Docker или Kubernetes, OLTP СУБД, Git;

• знаете SQL;

• имеете опыт работы в IT-команде;
• имеете профильное образование: информационные технологии, статистика, математика.

Будет плюсом:

• опыт работы с Apache Flink, Kafka Streaming, Debezium;
• знание Java, Groovy;
• опыт работы с распределёнными БД PostgreSQL, Oracle;
• глубокое понимание архитектуры стека Apache Spark, Apache Airflow, Apache Kafka;
• интерес к технологиям Data Science, Data engineering, Big Data.

Мы предлагаем:

• стабильность, на которую можем опираться. Официальное оформление в аккредитованной IT-компании, «белая» зарплата и ежегодная индексация, льготная ипотека и отсрочка от армии;
• рост без потолка. Оплачиваем курсы, тренинги и сертификации, отправляем на конференции и форумы. Поддерживаем во всём, что помогает расти;
• гибкий формат работы. Удалёнка или офис. Вы сами выбираете формат, в котором чувствуете себя продуктивнее — для нас важен результат, а не часы за столом;
• прозрачная мотивация. Ежеквартальные или годовые премии за результат — индивидуальный и командный;
• здоровье в приоритете. ДМС со стоматологией + доплата по больничному от 50 до 100 %;
• опции для родителей. Финансовая помощь при рождении ребёнка и 100 % оплата отпуска по беременности и родам;
• допы, которые радуют. Корпоративная мобильная связь, а ещё — скидки от наших партнёров: на технику, спорт, еду, обучение и не только. Маленькие бонусы, которые делают будни приятнее;
• атмосфера, которая заряжает. У нас не боятся пробовать новое, идеи обсуждаются на равных, а не спускаются сверху. Жёстких иерархий нет — есть свобода предлагать, менять процессы и влиять на то, что и как вы делаете.