Блог

Теперь, когда пыль улеглась, что мы можем узнать о построении распределенных систем из недавнего сбоя в работе служб Amazon EC2 и Amazon RDS?

Спасибо за интересные ссылки. Очевидно, что каждая распределенная система отличается, и каждый сбой уникален, поэтому обобщать сложно. Вот некоторые выводы, которые у меня есть:

1. Сбои случаются даже с лучшими разработчиками на block…so вам лучше планировать свои.

2. Построение распределенных систем — это hard…so вам нужен опыт и опытные друзья.

3. Изменения, вносимые вручную, являются распространенной причиной … об этом явно не говорится в описании AWS, но явно подразумевается.

4. Сбои часто являются «возникающими» явлениями, когда простая ошибка приводит к тому, что многие системы взаимодействуют экспоненциально. В рецензии AWS это называется «штормом», и я был свидетелем подобных «штормов» в больших распределенных системах. Степень связи и простые аспекты, такие как параметры возврата, могут определять разницу между помехами, которые растут экспоненциально, или экспоненциально спадают. Вспомните мост Tacoma Narrows — возможно, аналогия натяжная, но настройка нескольких простых параметров может избежать разрушительных резонансов.

5. Обезьяна хаоса Netflix интересна. «Бережливые» ребята научили нас, что если что-то сложно (например, тестирование или развертывание), то вам следует делать это часто, пока это не перестанет быть сложным. Возможно, отказ системы / устойчивость — следующий рубеж для этого подхода.

Теперь Chaos Monkey от Netflix приобретает больше смысла. Ознакомьтесь с техническим блогом NetFlix