ביג-דאטה הפך לנושא פופולרי הולך וגדל במהלך השנים האחרונות, ועוסק בעיבוד כמויות גדולות של נתונים במגוון פורמטים אשר לוקח בחשבון זרימת נתונים "חיה" ושימוש בנתונים היסטוריים. טכנולוגיות בסיסי נתונים מסורתיות (SQL) לא מתאימות להתמודד עם נתוני ביג-דאטה הכוללים זרימת נתונים מאסיבית ולכן היה צורך בארכיטקטורה גמישה שתוכל להתמודד עם כמות הנתונים הגדולה. ארכיטקטורת למבדה היא ארכיטקטורה כזו, המסוגלת להתמודד עם קליטה, עיבוד ואנליזה של נתוני ביג-דאטה.
כל הנתונים החדשים שמתקבלים מועברים במקביל לשתי שכבות:
o שכבת עיבוד אשכול (batch) – השכבה האחראית לאחסון כל הנתונים בצורתם "הגסה" (raw data) ואחראית גם על עיבוד הנתונים החדשים וההיסטוריים. שכבה זו מספקת הסתכלות מקיפה ומדויקת על הנתונים, על חשבון הזמן בו לוקח לקבלם. תוצאות העיבוד נשמרות בשכבת ההגשה (serving) בתור תצוגות אשכול (batch views).
o שכבת עיבוד בזמן אמת (או "שכבת מהירות") לעיבוד "חי" של זרמי נתונים. תוצאות העיבוד נשמרות בשכבה בתור תצוגות "חיות" (Real-time views). שכבה זו מספקת זמן קבלת תוצאות מהירה, על חשבון הדיוק.
ארכיטקטורת למבדה מיועדת לאנליזה, והשאילתות עבור קבלת מבט על הנתונים נעשות ישירות על שתי צורות התצוגות, בהתאם לצורך העסקי.
קיימים שירותים רבים בהם ניתן להשתמש על מנת להרכיב ארכיטקטורה מסוג זה. בנוסף לניסיון הרב של דטה סייט בביג-דאטה, מומחי הענן שלנו ידעו להתאים לכם את השירותים בצורה המדויקת ביותר לסביבה שלכם כך שתוכלו כבר מהתחלה לקבל ערך מוסף מהנתונים.
The guide was written in a specific way that a junior SQL Server DBA can learn from and it even touches some advanced features as well.
בספטמבר 2018 מיקרוסופט השיקה את שירותי Azure DevOps שהינם סדרת שירותים המיועדים לניהול