Рекомендер — один из самых высоконагруженных сервисов Дзена со сложной архитектурой. Он непрерывно анализирует взаимодействие пользователей с Дзеном, выясняет их интересы и быстро доставляет данные в кластер, где в реальном времени обрабатываются пользовательские запросы. В рантайме мы строим отказоустойчивую и быструю систему, которая за доли секунды может порекомендовать контент из многомиллионной базы. Вы будете решать инфраструктурные задачи по всему стеку рекомендера, повышать надёжность, оптимизировать ресурсы и помогать внедрять новые продуктовые идеи
Инфраструктура в цифрах:
• 10 000 запросов в секунду
• кластер на 50 000 ядер
• потоки данных до 30 ГБ/с
• более 20 микросервисов только в рекомендере
• отказоустойчивость 99,99%
Обязанности
- Разрабатывать на Java, строить архитектуру
- Оптимизировать хранение данных и кратно увеличивать объём базы
- Ускорять доставку данных
- Поддерживать инфраструктуру для новых моделей ранжирования
Требования
- Разрабатывали на любом современном языке и готовы перейти на Java
- Знаете алгоритмы и основные структуры данных
- Хотите научиться или умеете работать с большими данными и высоконагруженными системами
- Любите выполнять технически сложные задачи и оптимизировать код
Будет плюсом, если вы:
- Знаете Java
- Работали в высоконагруженных системах, а также с MapReduce
- Знакомы с ML
