Вакансия закрыта

Вероятно, работодатель нашел резюме нужного кандидата в базе резюме robota.ua
А ваше резюме есть в базе?
Создать резюме
Внимание! Это - архив вакансий. Вакансии, которые Вы здесь найдете, неактуальны и помещены сюда исключительно в ознакомительных целях.
01.08.2019

Senior data engineer

ДТЕК, ТОВ, Енергетична компанія
Энергетика и Энергоносители

    Задачи:

     

    • Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе
    • Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме)
    • Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры ДТЭК
    • Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных
    • Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных
    • Участие в создании POC с нуля - проектирование, разработка и прототипирование
    • Участие во всех циклах разработки - дизайн, кодирование, тестирование и релиз
    • Проведение код ревью с целью обеспечения качества разработки
    • Применение концепции непрерывной интеграции и доставки (CI/CD)
    • Оптимизация конвейеров данных и усовершенствование архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом

     

     

    Основные требования (must have):

     

    • Опыт работы в роли инженера данных не менее 2-х лет
    • Практические навыки проектирования и реализации систем сбора и обработки данных
    • Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области
    • Понимание принципов распределенных вычислений
    • Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей
    • Глубокое знание SQL и NoSQL, опыт работы с различными СУБД (Oracle / MySQL / PostgreSQL / Cassandra и пр.)
    • Практический опыт работы с элементами Hadoop экосистемы
    • Apache Spark: Core, SQL
    • Streaming / Stream Processing
    • Практический опыт работы с Compute Cloud (AWS, Azure и т.п.)
    • Java и/или Scala и/или Python

     

     

    Дополнительные требования (nice to have в любой конфигурации):

     

    • Apache Spark: Streaming, GraphX
    • Apache Ignite
    • Apache Flink
    • Apache (Confluent) Kafka / Apache Pulsar
    • NoSQL (Cassandra / Hbase / Kudu / Impala)
    • Indexing engines (Elastic Search / Solr)
    • Apache Hive (Tez), Pig
    • AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora
    • Azure: Blob storage, HDInsight, VM, Functions, Event Hubs etc.
    • Alluxio
    • Gradle

     

     

    Мы предлагаем:

     

    • Официальное оформление
    • Конкурентный уровень з/п
    • Бонус по итогам года работы в компании
    • Работа в ультрасовременном офисе (UNIT.City)
    • Возможность применять самые современные технологии
    • Возможность профессионального роста
    • Медицинскую страховку по истечении трехмесячного срока