Эта вакансия уже завершена
Находимся в поиске Data Engineer для непосредственного участия в разработке продуктов для крупной телеком компании
В основе используется стек технологий BigData и инструменты потоковой обработки (Flink, Kafka, Ni-Fi, Hadoop, ClickHouse, Java/Scala).
Задачи:
- Работа в продуктовой команде,
- Построение и оптимизация ETL скриптов, доставляющих данные от источников (базы данных, файлы, облако) до разрабатываемых, тестируемых и продуктивных систем,
- Анализ источников данных,
- Проектирование хранилищ данных,
- Проработка архитектурных решений
Требования:
- Опыт моделирования информационно-технологических процессов,
- Хорошие знания реляционных баз данных, архитектур хранилищ данных,
- Уверенные знания SQL (PortgreSQL, Oracle),
- Знание основ теории алгоритмов, теории баз данных, теории систем и системного анализа
Желательные требования (но не обязательно): • Опыт работы со стеком Hadoop: HDFS, Yarn, Hive, Spark • Опыт постановки задач на разработку ETL процессов с использованием стека Hadoop • Знания в области машинного обучения