Data engineer

Находимся в поиске Data Engineer для непосредственного участия в разработке продуктов для крупной телеком компании

В основе используется стек технологий BigData и инструменты потоковой обработки (Flink, Kafka, Ni-Fi, Hadoop, ClickHouse, Java/Scala).

Задачи:

• Работа в продуктовой команде,
• Построение и оптимизация ETL скриптов, доставляющих данные от источников (базы данных, файлы, облако) до разрабатываемых, тестируемых и продуктивных систем,
• Анализ источников данных, 
• Проектирование хранилищ данных,
• Проработка архитектурных решений

Требования:

• Опыт моделирования информационно-технологических процессов,
• Хорошие знания реляционных баз данных, архитектур хранилищ данных,
• Уверенные знания SQL (PortgreSQL, Oracle),
• Знание основ теории алгоритмов, теории баз данных, теории систем и системного анализа

Желательные требования (но не обязательно): • Опыт работы со стеком Hadoop: HDFS, Yarn, Hive, Spark • Опыт постановки задач на разработку ETL процессов с использованием стека Hadoop • Знания в области машинного обучения