आप किसी भी वेबसाइट को जो भी रिक्वेस्ट भेजते हैं, उसके साथ मेटाडेटा का एक छोटा-सा ढेर जाता है जिसे आप कभी देखते नहीं। हेडर्स। ये तय करते हैं कि आपका कनेक्शन एन्क्रिप्टेड है या नहीं, कोई पेज iframe में एम्बेड हो सकता है या नहीं, किस CDN एज ने आपको सर्व किया, और ब्राउज़र को कोई कुकी एक साल तक याद रखनी चाहिए या नहीं। मैं देखना चाहता था कि एक असली, व्यस्त प्रोडक्शन साइट क्या भेजती है, तो मैंने एक Amazon एंडपॉइंट पर curl चलाया और रिस्पॉन्स हेडर्स डंप कर दिए। पता चला कि समझने के लिए बहुत कुछ है।
Amazon ने दुनिया का सबसे बड़ा क्लाउड प्लेटफ़ॉर्म बनाने का इरादा नहीं किया था। यह तो बस हो गया — जब कंपनी अपने इंजीनियरों को हर कुछ महीनों में एक ही इन्फ्रास्ट्रक्चर को बार-बार बनाने से रोकने की कोशिश कर रही थी।
वह आंतरिक अराजकता जिसने सब शुरू किया लगभग 2000 के आसपास, Amazon Merchant.com बना रहा था — एक ऐसा प्रोडक्ट जो Target और Marks & Spencer जैसे थर्ड-पार्टी रिटेलर्स को Amazon के इन्फ्रास्ट्रक्चर पर अपनी ई-कॉमर्स स्टोर खड़ी करने देता [2]। लेकिन जो हुआ वह एक संगठनात्मक तबाही थी। हर टीम अपने-अपने स्टोरेज, कंप्यूट, और डेटाबेस प्रिमिटिव्स का अलग-अलग वर्शन बना रही थी। कोई साझा API नहीं, किसी चीज़ तक पहुँचने का कोई मानक तरीका नहीं।