משילות מובנית בפלטפורמת הנתונים
פלטפורמות הנתונים הגדולות מגיעות היום עם קטלוג והרשאות משלהן. השאלה היא מה השכבה הזו מכסה בארגון שלכם, ומה נשאר מחוצה לה.
ספקיות פלטפורמות הנתונים הוסיפו בשנים האחרונות שכבת משילות מובנית: קטלוג, הרשאות, סיווג מידע רגיש ושושלת, בתוך הפלטפורמה עצמה. הארגון מקבל את השכבה הזו יחד עם הפלטפורמה, והיא אוכפת את המדיניות באותו מקום שבו הנתונים נשמרים ומעובדים.
לצד הקטלוגים המובנים פועלים כלים עצמאיים, כמו Collibra, Alation ו-Atlan, שמתחברים לכמה פלטפורמות ומציגים אותן בתמונה אחת. העמוד הזה עובר על הקטלוגים המובנים של הפלטפורמות המרכזיות, ועל השאלות שכדאי לשאול כשמחליטים איך לחלק את העבודה בין שתי השכבות.
שתי שכבות: מובנית ועצמאית
הקטלוג המובנה מכיר את הפלטפורמה לעומק. הוא אוכף הרשאות ברגע הגישה לנתון, ומתעד שושלת מתוך מנוע העיבוד עצמו. כלי עצמאי מתחבר מבחוץ, ולכן הוא יכול להציג נכסים מכמה פלטפורמות, מכלי BI וממערכות תפעוליות במקום אחד. חלק מהכלים העצמאיים מתחברים ישירות לקטלוגים המובנים וקוראים מהם מטא-דאטה.
הקטלוגים המובנים של הפלטפורמות המרכזיות
Databricks Unity Catalog
שכבת המשילות של Databricks מארגנת נכסים במבנה של שלוש רמות:
catalog.schema.object, תחת Metastore אחד. היא מנהלת במקום אחד טבלאות,
תצוגות, נתונים לא-מובנים (Volumes), פונקציות, מודלי AI ושירותים. ההרשאות משלבות
הרשאות קלאסיות, מדיניות מבוססת-מאפיינים (ABAC), סינון שורות ומיסוך עמודות.
Unity Catalog מתעד שושלת אוטומטית, מנתוני המקור ועד המודלים והדשבורדים, ושומר תיעוד גישה בטבלת מערכת של יומן ביקורת (Audit Log). הגילוי נעשה דרך Catalog Explorer, והשיתוף בין ארגונים ובין עננים נעשה בפרוטוקול פתוח. Databricks פתחה גם גרסת קוד פתוח של Unity Catalog, שמתוארת בעמוד הכלים בקוד פתוח.
Snowflake Horizon Catalog
Horizon היא שכבת המשילות והגילוי המובנית ב-Snowflake. היא מסווגת אוטומטית עמודות עם מידע רגיש, מנהלת תגיות על אובייקטים, ואוכפת מדיניות מיסוך ומדיניות גישה לשורות. תיעוד הגישה (Access History) מראה מי ניגש לאיזה נתון, ו-Trust Center מנטר תצורות הרשאה בעייתיות.
Horizon מתעדת שושלת בתוך Snowflake, מול מסדי נתונים חיצוניים ומול כלי BI. היא כוללת גם ניטור איכות נתונים, תיאורים שנוצרים אוטומטית בעזרת Cortex, ותמיכה בטבלאות Apache Iceberg דרך Iceberg REST Catalog API, כך שמנועים כמו Spark, Flink ו-Trino ניגשים לאותן טבלאות.
Google Knowledge Catalog (לשעבר Dataplex)
ב-10 באפריל 2026 שינתה גוגל את שם Dataplex Universal Catalog ל-Knowledge Catalog. לפי התיעוד, שמות ה-API, ספריות הלקוח וההרשאות לא השתנו. הקטלוג סורק אוטומטית נתונים מובנים ולא-מובנים ב-BigQuery, ב-Cloud Storage, ב-Looker ובמסדי נתונים חיצוניים, ותומך בחיפוש סמנטי בשפה טבעית.
הוא כולל מילון מונחים עסקי, פרופיילינג סטטיסטי, בדיקות איכות מבוססות חוקים וסריקות ML לזיהוי חריגות וטריות, ושושלת ברמת העמודה. הרחבת המטא-דאטה נעשית בעזרת סוגי Aspects מותאמים, וההרשאות נשענות על IAM של Google Cloud.
AWS: Lake Formation ו-SageMaker Catalog
ב-AWS המשילות מתחלקת בין שני שירותים. AWS Lake Formation מנהל הרשאות מעל AWS Glue Data Catalog, ברמת עמודה, שורה ותא. בקרת הגישה מבוססת התגיות שלו (LF-TBAC) מחילה הרשאות לפי מאפייני הנתון, והוא משתף נתונים בין חשבונות, ארגונים ואזורים. יומני CloudTrail מתעדים מי ניגש לאיזה נתון ומתי.
Amazon SageMaker Catalog, שנבנה על Amazon DataZone, הוא הקטלוג העסקי: מפרסמים בו נכסים, מצמידים מונחי מילון וטפסי מטא-דאטה, ומנתבים בקשות גישה לתהליך אישור. הרשאות שאושרו נרשמות בפועל ב-Lake Formation או ב-Amazon Redshift. מאז 2025 אפשר להגדיר בו כללי מטא-דאטה שמחייבים מילוי שדות בעת פרסום נכס או בקשת גישה.
Microsoft Purview
Purview היא שכבת המשילות של מיקרוסופט, עם סיווג רגישות ושושלת בסביבות Azure, Power BI ו-Fabric. תיאור מלא שלה נמצא בעמוד כלי הממשל והקטלוג.
מבט מרוכז
| פלטפורמה | שכבת הקטלוג | הרשאות ומדיניות | שושלת וגילוי |
|---|---|---|---|
| Databricks | Unity Catalog | הרשאות, מדיניות מבוססת-מאפיינים (ABAC), סינון שורות ומיסוך עמודות. | שושלת אוטומטית מנתוני המקור ועד מודלים, שירותים ודשבורדים. |
| Snowflake | Horizon Catalog | מדיניות מיסוך וגישה לשורות, תגיות, סיווג אוטומטי של מידע רגיש. | שושלת בתוך Snowflake, מול מסדי נתונים חיצוניים וכלי BI. |
| Google Cloud | Knowledge Catalog (לשעבר Dataplex Universal Catalog) | הרשאות מבוססות IAM ותמיכה ב-VPC Service Controls. | שושלת ברמת העמודה, כולל חיפוש שושלת בין אזורים. |
| AWS | Lake Formation ו-SageMaker Catalog | הרשאות ברמת עמודה, שורה ותא, ובקרת גישה מבוססת תגיות (LF-TBAC). | קטלוג עסקי עם מילון מונחים ותהליך אישור לבקשות גישה. |
| Microsoft Azure | Microsoft Purview | סיווג מידע רגיש ותוויות רגישות, בשילוב עם מערכת מיקרוסופט. | שושלת בסביבות Azure, Power BI ו-Fabric. |
שאלות לבחינה בארגון שלכם
- כמה פלטפורמות יש לכם? ארגון שכל הנתונים שלו בפלטפורמה אחת מקבל כיסוי רחב מהקטלוג המובנה שלה. ארגון עם כמה פלטפורמות, כלי BI ומערכות תפעוליות צריך לבדוק איפה תוצג התמונה המלאה.
- איפה יישב ההקשר העסקי? החליטו מי מנהל את מילון המונחים, הבעלות והנאמנות, ובאיזו מערכת. שכפול מילון בשתי מערכות יוצר סתירות.
- מי אוכף את ההרשאות? הגדירו איזו שכבה היא מקור האמת להרשאות, ואם הכלי העצמאי רק מציג אותן או גם כותב אותן חזרה לפלטפורמה.
- האם הפורמטים פתוחים? ממשקים כמו Iceberg REST Catalog מאפשרים למנועים שונים לגשת לאותו קטלוג. בדקו אילו ממשקים כל פלטפורמה תומכת בהם, ואם זה עונה על תוכנית הארכיטקטורה שלכם.
כדי לבחון את הכלים העצמאיים ראו את כלי הממשל והקטלוג ואת הכלים בקוד פתוח. הבחירה עצמה נשענת על הבנת הקטלוג והשושלת ועל משילות נתונים בענן.
Databricks, Unity Catalog, Snowflake, Horizon, Google Cloud, Knowledge Catalog, Dataplex, BigQuery, AWS, Lake Formation, SageMaker, DataZone, Microsoft Azure ו-Purview הם סימני מסחר של בעליהם. המידע מבוסס על תיעוד ציבורי ועשוי להשתנות.