Около десяти лет назад, чтобы проанализировать логи в Яндексе, необходимо было подключиться к специальному серверу с архивами access-логов и запустить скрипт на bash с использованием команды zgrep.
Если же требовалось анализировать логи за несколько дней, это превращалось в длительное приключение.
Однако все изменилось с появлением YT - собственной MapReduce-системы, способной обрабатывать огромные объемы данных. Это не просто звучит рекламно, YT действительно впечатляет ;)
Вычислительные кластера в YT носят имена знаменитых математиков и ученых, таких как Hans Hahn. Это проявление уважения к великим умам человечества - очень по-яндексовому :)
В прошлом году произошло значимое событие, и YT стал доступен в открытом доступе под именем YTsaurus. Теперь любой желающий может запустить свой локальный кластер с использованием того же docker-контейнера.
Не буду перечислять все особенности и преимущества YTsaurus, легче прочитать на официальном сайте.
На мой взгляд, YT предоставил тот самый MapReduce с “человеческим лицом”, который был нам так нужен. Теперь YT используют разработчики, тестировщики, аналитики, менеджеры, дизайнеры, саппорт и так далее.
Перечисляя столько профессий-клиентов платформы YT, я понял, что проще назвать тех, кто не использует YT. Может быть, только хозяюшки?