по России
з/п не указана
2 год назад
Наша команда строит большое хранилище данных для Яндекс Плюса, Кинопоиска, Музыки и Афиши. Ищем опытного дата-инженера, который поможет нам развить платформу DWH, в частности, инструменты Data Quality, Data Catalogue и Data Lineage
Обязанности
- Проектировать, разрабатывать, внедрять и поддерживать продукты Data Quality, Data Catalogue и Data Lineage
- Поддерживать инфраструктуру ClickHouse, повышать её производительность
- Разрабатывать ETL-процессы на Python и с помощью внутренних библиотек
- Проектировать архитектуру DWH, оптимизировать код и проводить его ревью
Требования
- занимались промышленной разработкой не меньше трёх лет
- Владеете SQL и Python
- Знаете основы Bash и Linux
- Можете разобраться в процессах с точек зрения бизнеса и разработки
Будет плюсом, если вы:
- Работали с ClickHouse или другими промышленными MPP-системами
- Внедряли Data Quality или Data Catalogue решений
- Знакомы с инструментами мониторинга, например Grafana и Prometheus
- Работали с MapReduce и Spark
- Отличаете «звезду» от «снежинки», Кимбалла от Инмона, кластерный индекс от некластерного
