ETL-интеграции без валидола

Типовая задача с внедрений. Из системы А следует загрузить данные в пакетном режиме в систему Б. Сначала прогрузить многомиллионный или миллиардный исторический объем, а затем отрегулировать регулярные инкрементальные загрузки.

Расскажу, что необходимо учитывать при проектировании интеграции, и почему нельзя ограничиваться только маппированием.    

Понимание масштаба бедствия при проектировании интеграции позволит сберечь нервы всем участникам процесса и избежать риска срыва сроков. 

Пример из жизни. Ожидаем, что в систему Б будет загружено 100 млн данных к дате Х, а по факту загрузили в 10 раз меньше. После нескольких перегрузок, сорвав сроки, данные все-таки загрузили. Но потом еще 3 года отправляли корректировочные инкременты, когда выяснялось, что то про обработку справочников забыли, то фильтр отбора данных потеряли, то что-то еще случалось.