Из бэкенда в дата-инженерию: типовые ошибки и паттерны

Больше 7 лет я занимаюсь разработкой на Python, а в общей сложности работаю над ИТ-продуктами более 17 лет. В свободное время пишу свой маленький опенсорс.

Так получилось, что работаю на стыке бэкенда и дата-инженерии и переключаюсь между двумя направлениями. Мне неоднократно приходилось сталкиваться с кодом, который пишут разработчики, только что пришедшие в дата-инженерию с бэкенд-бэкграундом … и нам есть что обсудить.

Это будет практический доклад с кейсами и наглядными примерами. Не просто про базовые вещи в дата-инженерии, понимание которых является минимальным базисом, но и про то, почему это важно. Посмотрим на реализацию максимально обыденных и привычных для бэкенда, но абсолютно неправильных паттернов с точки зрения дата-инженерии. Поговорим о работе со временем, перекладывании даты из базы туда-обратно, важности инструментов для обработки данных, любви к foreign key и о другом.