כלי ממשל נתונים open source
גמישות, שקיפות וללא עלות רישוי. בתמורה למאמץ הקמה, תחזוקה ותמיכה שנופל על הארגון.
כלי ממשל נתונים בקוד פתוח מהווים חלופה לפלטפורמות מסחריות יקרות. הם מספקים קטלוג, ניהול מטא-דאטה ושושלת, עם קוד גלוי שניתן להתאים ולהרחיב. שני שמות בולטים בתחום זה: OpenMetadata ו-DataHub. לצדם תמצאו את Apache Atlas, הפרויקט הוותיק מעולם Hadoop, ואת Unity Catalog, שנפתח לקהילה ב-2024.
כלים מרכזיים
OpenMetadata
OpenMetadata הוא פרויקט קוד פתוח שמרכז מטא-דאטה, קטלוג, שושלת ואיכות סביב מודל מטא-דאטה אחיד. הוא בנוי כדי לחבר מקורות נתונים רבים ולהציג מילון, בעלות ותיעוד במקום אחד. הקהילה סביבו פעילה והקצב שבו נוספות יכולות מהיר.
DataHub
DataHub הוא פלטפורמת מטא-דאטה בקוד פתוח, שמוזכרת לצד פרויקטים כמו Apache Atlas ו-Amundsen. הוא מתמקד בגילוי נתונים, חיפוש ושושלת בקנה מידה גדול, ונשען על ארכיטקטורה שמיועדת לטפל בכמויות גדולות של מטא-דאטה ממקורות מגוונים.
Apache Atlas
Apache Atlas הוא פרויקט של קרן Apache שנולד כשכבת המשילות והמטא-דאטה של אקו-סיסטם Hadoop. הוא מגדיר מערכת טיפוסים גמישה לנכסי מידע, מנהל שושלת, ותומך בסיווגים (Classifications) כמו "PII" שמוצמדים לנכסים. סיווג יכול להתפשט לאורך השושלת: עמודה שנגזרת מעמודה מסווגת יורשת את הסיווג שלה.
יכולת מרכזית של Atlas היא השילוב עם Apache Ranger. מדיניות מבוססת-תגיות ב-Ranger נשענת על הסיווגים ב-Atlas, ולכן הרשאות, מיסוך נתונים וסינון שורות עוברים יחד עם הסיווג אל עותקים חדשים של הנתון. את הקשרים בין הנכסים Atlas שומר במסד גרפים (JanusGraph). גרסה 2.4.0 יצאה בינואר 2025, והכלי משמש גם כשכבת המשילות בפלטפורמת Cloudera.
Unity Catalog (גרסת הקוד הפתוח)
Databricks פיתחה את Unity Catalog ב-2021, וביוני 2024 פתחה את הקוד ותרמה אותו לקרן LF AI & Data, שהיא חלק מ-Linux Foundation. הפרויקט מופץ ברישיון Apache 2.0 ונמצא כיום בשלב Sandbox בקרן. הוא מנהל במרחב שמות אחד טבלאות, נתונים לא-מובנים (Volumes), פונקציות ומודלי AI.
Unity Catalog תומך בפורמטים Delta Lake, Apache Iceberg, Apache Hudi ו-Parquet, ותואם לממשקי Iceberg REST Catalog ו-Hive Metastore. כך מנועי עיבוד שונים ניגשים לאותו קטלוג. שימו לב להבדל בין הגרסאות: לפי התיעוד, גרסת הקוד הפתוח מתמקדת בממשקי הליבה, וחלק מיכולות המשילות וההרשאות מוגדרות כמתוכננות. הגרסה המנוהלת בתוך Databricks כוללת יכולות רחבות יותר, ומתוארת בעמוד משילות מובנית בפלטפורמה.
יתרונות מול חסרונות
| היבט | יתרון בקוד פתוח | החיסרון שמתלווה |
|---|---|---|
| עלות | אין עלות רישוי לתוכנה עצמה | עלות סמויה בכוח אדם, תשתית ותחזוקה |
| גמישות | קוד גלוי, ניתן להתאים ולהרחיב לפי הצורך | ההתאמה דורשת כישורי הנדסה פנימיים |
| שליטה | שליטה מלאה בנתונים, בפריסה ובמפת הדרכים | האחריות לאבטחה ולשדרוגים על הארגון |
| תמיכה | קהילה פעילה ופיתוח מהיר | אין הסכם תמיכה רשמי (SLA) אלא אם נרכש בנפרד |
מתי לבחור OSS מול אנטרפרייז
הבחירה אינה עקרונית אלא מעשית. היא תלויה בכישורי הצוות, בתקציב, ובמידת הצורך בתמיכה רשמית ובאחריות חוזית.
- בחרו בקוד פתוח כאשר: יש צוות הנדסת נתונים חזק, הצורך בהתאמה גבוה, התקציב לרישוי מוגבל, והארגון מוכן לקחת אחריות על תחזוקה ואבטחה.
- בחרו באנטרפרייז כאשר: הסביבה מפוקחת ודורשת תמיכה ואחריות רשמית, הצוות מצומצם בכישורי הנדסה, ויש ערך בחבילת מודולים משולבת מספק יחיד.
- שקלו מודל מנוהל: חלק מהכלים בקוד פתוח מוצעים גם כשירות מנוהל בתשלום, שמשלב את גמישות הקוד הפתוח עם תמיכה מסחרית.
מקוד פתוח לשירות מנוהל
סביב חלק מפרויקטי הקוד הפתוח קמו חברות שמציעות אותם כשירות מנוהל. הארגון מקבל את אותו מודל מטא-דאטה, בלי להקים ולתחזק את התשתית בעצמו.
Collate (OpenMetadata מנוהל)
Collate היא החברה שהקימה את פרויקט OpenMetadata ב-2021. מייסדיה, סורש סריניבס (Suresh Srinivas) ושריהרשה צ'ינטלפאני (Sriharsha Chintalapani), עבדו קודם ב-Hortonworks וב-Uber, וסריניבס היה חבר בוועדת ניהול הפרויקט של Apache Atlas. החברה מציעה את OpenMetadata כשירות מנוהל, כולל מסלול חינמי.
מעבר לגרסת הקוד הפתוח, Collate מוסיפה סוכני AI לתיעוד, לבדיקות איכות ולסיווג נכסים לפי חשיבות (Tiering), ממשק שאילתות בשפה טבעית, וסנכרון מטא-דאטה בחזרה למערכות המקור (Reverse Metadata): תגיות, תיאורים ובעלים שהוגדרו בקטלוג נכתבים חזרה למקור. היא מוסיפה גם ניהול בקשות גישה לנתונים, ותמיכה ואחריות לזמינות לפי הסכם.
להשלמת התמונה השוו מול כלי האנטרפרייז, ולפני בחירה עברו למדריך ה-RFP. ערך הכלי תלוי באיכות הקטלוג והשושלת שהוא מנהל.
OpenMetadata, DataHub, Apache Atlas, Apache Ranger, Unity Catalog, Collate ו-Amundsen הם שמות וסימני מסחר של בעליהם או של קהילות הקוד הפתוח שלהם. ההשוואה כללית, לצורכי המחשה בלבד, מבוססת על מידע ציבורי שעשוי להשתנות, ואינה מהווה דירוג או המלצה.