Проект по переводу отчетов международной страховой компании с Oracle на современный Big Data стек

Спикер расскажет, как с командой делал Proof of Concept стримингового ELT-пайплайна для крупной международной страховой компании. Использовались следующие основные компоненты.

• Сервер Oracle.
• Debezium-коннектор для загрузки CDC лога в Kafka.
• Kafka.
• Spark Structural Streaming.
• Delta Lake.
• AWS S3 в качестве облачного хранилища.