Прямой связи не вижу. Попробуйте отключить интеграцию с телефонией на день - улучшится ли ситуация?
Если обрывы связи воспроизводятся, можно попробовать снять дамп звонка для анализа
Анализируйте нагрузку на сеть / на ЦП / доступную оперативную память на ПК с Asterisk.