מה זה ביג דאטה?

איך ל

על ידיראיין דיבה

עודכן לאחרונה ב26 במרץ, 2020

לאורך השנים, המון buzzwords הופכים לאופנתיים בכל ענפים רבים. יש מעטים שהפכו כל כך פופולריים, וכל כך הרבה זמן, כנתונים גדולים. אבל מה זה נתונים גדולים, בדיוק?

נתונים גדולים מתייחסים לאוקיאנוס וירטואלי של מידע ממגוון מקורות, שמנותחים ומסוננים בצורה כזו שתפתח תוצאות משמעותיות וניתנות לפעולה.

תהליך המרת "נתונים גדולים" לתוצאות משמעותיות יכול להראות מסובך וקשה. עם זאת, ברגע שאתה מבין מה זה נתונים גדולים ואיך זה עובד, ההבנה כיצד להפוך אותם למשמעותיים לא נראית כל כך מורכבת.

מה זה ביג דאטה?

כשאתה שומע אנשים מדברים על "נתונים גדולים", זה בדרך כלל עם הרבה מנופפות בידיים ומילים גדולות. אבל כשאתה מרוויח את כל ההיפר-בול, "הנתונים" בפועל הם למעשה הרבה זרמי קלט נתונים מרובים.

כדי להבין זאת, דוגמא יכולה לעזור. נניח שאתה מנהל חברה לייצור מטריות. מחלקת השיווק שלך מחפשת דרך לחזות טוב יותר מתי הביקוש בשוק עומד להתעלות.

לפני ימי ה- Big Data, המשווקים היו בוחנים מגמות בשוק, שולחים סקרי לקוחות ופעילויות רבות אחרות.

הם היו אוספים את כל הנתונים האלה ומאחסנים אותם במאגרי המידע הפנימיים של החברה שלהם. מישהו עשוי להיות אחראי על עדכון נתוני מחקר שיווקי על בסיס שנתי או רבעוני.

עם זאת, הופעתם של נתונים גדולים מרחיבה את היכולת לערוך מחקר מסוג זה. בפרט, נתונים גדולים יעילים במיוחד לזיהוי מגמות או אירועים חשובים בזמן אמת כמעט.

כניסות נתונים לניתוח מסוג "נתונים גדולים" מסוג זה עשויות לכלול זרמי נתונים בזמן אמת על ידי כתיבת קוד המתחבר ל ממשק תכנות יישומים (API) של חברות רבות ושונות שהפיצו נתונים אלה לציבוריים:

• טוויטר ופייסבוק: זהה מתי ומדוע אנשים דנים ברכישת מטריות.
• מזג אוויר: זיהוי תנאי מזג אוויר או תחזיות שעלולות להפוך למכירות מטריות גבוהות יותר.
• בורסה: שינויים עונתיים בעלות חומרי הגלם לייצור מטריות.
• שימוש באינטרנט של לקוחות: שימוש במידע מ- עוגיות מחשב של אנשים שמבקרים בקטלוג החברה כדי להבין התנהגויות קנייה.
• היסטוריית רכישת לקוחות: מעקב אחר הגיאוגרפיה והעונות של מגמות נקודת המכירה מהקמעונאים.

כדי להשתמש בנתונים גדולים, צוות השיווק של החברה הזו יצטרך, בחלק מהמקרים, להתקין טכנולוגיות חדשות.

ביג דאטה והאינטרנט

זה עשוי לכלול את טכנולוגיית האינטרנט של הדברים (IoT) אצל קמעונאים שעוקב אחר דיווחים על התנהגויות הצרכנים ומדווח עליהם. לחלופין, יתכן כי מתכנת יכתוב את הקוד הנדרש לממשק עם ממשק ה- API של טוויטר כדי לסנן את כל הציוצים שמזכירים "מטריות" או את שם החברה.

כל אחת מהטכנולוגיות הללו זמינה כעת בזכות האינטרנט. האינטרנט מאפשר לכל אחד להשתמש בזרמי נתונים מרחבי העולם.

כך עשוי להתקין ההגדרה בדוגמה שלנו במקרה זה.

תרשים זה מראה כיצד נתונים זורמים ל"אגם הנתונים "של החברה ממקורות רבים ושונים. הנתונים הנכנסים עשויים להיות מובנים בצורה שונה, אך הדבר החשוב הוא לאסוף כמה שיותר נתונים מכל המקורות.

מהו אגם דאטה?

בניגוד למסד נתונים, המכיל נתונים מובנים המאורגנים בעמודות ובשורות ספציפיות, אגם נתונים הוא מאגר מסיבי עבור צורות שונות של נתונים.

הנתונים המאוחסנים יכולים להיות מובנים או לא מובנים. כלומר ייתכן שיש בו שורות ועמודות מובנות, או שלא. הנתונים יכולים להיות מחרוזות המשתמשים בעיצוב ספציפי להפרדת נתונים. כל מקור נתונים יכול להגיש נתונים לאגם נתונים בכל צורה שהיא אוהבת.

דמיינו אגם נתונים כמו ספרייה מסיבית המכילה צורות רבות של מדיה, כמו ספרים, תמונות במיקרו-פישה ווידאו ב- DVD.

תאר לעצמך מהנדס אינטליגנציה דיגיטלית וניתוח נתונים כפטרונים של אותה ספריה. פטרונים אלה יכולים לשלוף נתונים באופן דיגיטלי מתוך ספרים, מיקרו-פיסות ו- DVD ולמצוא דרכים לערבב ולשלב נתונים אלה וללמוד דברים מאיך הנתונים מתאמים.

מתוך הלמדים הללו מגיעים אינטליגנציה ממשית וניתנת לפעולה. חלק מהדוגמאות שלנו עשוי לכלול:

• הפטפוטים בטוויטר ובפייסבוק מצביעים על סערה מתקרבת בעיר ניו יורק, כאשר אלפי לקוחות מתכננים לקנות מטריות.
• קובצי cookie למחשבים הרוכשים נתונים ומכונות לקופות קמעונאיות מצביעים על כך שהקונים בקליפורניה מוכנים לשלם יותר עבור מטריות מעצבים מאשר אנשים בוירג'יניה.
• דפוס סערה גדול ומתקרב מצביע על כך שרוב החוף המזרחי יכוסה בסופת גשם למשך שבוע שלם.

כל הממצאים הללו עשויים להניע את צוות השיווק להשקיע בפרסום גיאוגרפי יותר, כאשר הביקוש למכירת המטריות הוא הרבה יותר חזק. פעולות ייצור יכולות גם להעביר את מאמצי הייצור שלהם לאותם אזורים בעולם קרוב יותר למקום בו מכירות נוטות יותר לטפס.

בדרך זו, באמצעות נתונים גדולים, כל חברה יכולה לייעל את השיווק והפעילות שלה.

מה זה Hadoop?

השאלה הבאה היא, איך חברות מעבדות כמויות נתונים כה גבוהות ומזהות מגמות?

פריצת נתונים מסוג זה מצריכה משאבי מחשב מאסיביים. עד כדי כך שחברות כבר לא משתמשות במחשבי מיינפריים גדולים מקומיים כמו פעם. רבים משירותים אלה רוכשים כעת מהענן. שירותי מודיעין של ענן נתונים כמו אפאצ'י Hadoop מציעים צמתי מחשב רבים ברשת ענן גדולה. כל אחד מהצמתים הללו תורם לכוח העיבוד הנדרש לניתוח זרמי נתונים מאסיביים ממקורות מרובים.

כוח עיבוד מסוג זה הוא לב לבה של מכונה או בינה דיגיטלית וניתוח נתונים. Hadoop היא מסגרת התוכנה שהופכת את כל הרשת הזו לעבודה בכוח חישובי מסיבי כנדרש למהנדסי בינה דיגיטלית.

ברגע שמנוע החישוב מייצר אינטליגנציה ניתנת לפעולה, בדרך כלל אלה מועברים לחברה בצורה של לוחות מחוונים או דוחות.

Big Data אינו רק Buzzwords

האמת היא ש"נתונים גדולים "הם יותר מסתם לינגו תאגידי. חברות רבות לומדות כי באמצעות ניצול טוב יותר של נתונים הן מצליחות להשיג הישגים רבים.

• יצרנים יכולים לשפר מדדי ייצור קריטיים כמו תשואה, איכות ויעילות.
• קמעונאים יכולים ליישר טוב יותר השקעות שיווק, פרסום ועסקים על סמך אותות בשוק.
• מפיצים מסוגלים לחזות בעיות אפשריות בשרשרת האספקה ​​לפיתוח מקדים של תוכניות מגירה.
• ארגוני חדשות יכולים לזהות במהירות אירועים ראויים לחדשות על ידי ניתוח אותות ציבוריים באינטרנט.
• מומחי אבטחת סייבר השתמש באותות ברחבי האינטרנט כדי לזהות התקפות סייבר בזמן שהן בתהליך.

בעוד שחלק גדול ממה שהשיג נתונים גדולים בשנים האחרונות נותר כמעט בלתי נראה לעיני הציבור, נתונים גדולים אמנם השפיעו באופן משמעותי על חיי היומיום עבור אנשים ברחבי העולם.