Драматическое приручение кролика

Представим, что у нас есть сервис, в который ежедневно сваливаются реестры платежей. Их необходимо обработать. Для каждого получателя проверить статус, доступный лимит на получение; возможно, отправить уведомление, сформировать выписку и так далее.

Все это обычно решается с помощью фоновых задач, и есть множество инструментов для этого. Так, для работы в фоне мы взяли Dramatiq. И спустя 3 года получили свою первую ошибку от RabbitMQ — «100 connection limit reached».

В докладе разберем, зачем нам столько соединений. Почему это плохо и как мы держим нагрузку в 10 раз больше, имея в 10 раз меньше соединений. Не обошлось и без контрибьюта в open source.