DataEngineer (Дата-инженер/Специалист по работе с данными)

Задачи:

• Кандидату, успешно прошедшему собеседование, предстоит:
• 1. Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow.
• 2. Готовить витрины данных, в том числе из сырых логов.

Критерии успеха:

• Уверенный Python и хорошие базовые знания SQL (JOIN, подзапросы).
• Базовые знания стека Hadoop (HDFS, YARN, Hive) и Pyspark.
• Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры).
• Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне.
• Знание базовых команд Linux-консоли, git.
• Интерес к технологиям больших данных и большое
• желание учиться.
• Будет плюсом:
• 1. Знакомство с Apache Nifi или Streamsets
• 2. Опыт разработки REST-сервисов на Python (Flask / FastAPI)

Мы предлагаем:

• Работа у лидера – решение масштабных задач в крупнейшей частной страховой компании России.
• Команда профессионалов – молодая команда с амбициями, интересными задачами и грандиозными планами.
• Забота о благополучии – программы управления здоровьем, многообразие сервисов и корпоративных привилегий для сотрудников.
• Достойное вознаграждение – конкурентная зарплата и прозрачная мотивация, привязанная к результатам.
• Непрерывное развитие – безграничные возможности обучения и работа в команде с экспертами рынка.
• Внимание к новичкам – дружелюбная и комфортная программа адаптации и поддержка коллег для быстрого выхода на 100-процентную эффективность