عالم الكمبيوترمحاور تقنية

المختصر المفيد من علم البيانات

المختصر المفيد من علم البيانات

المختصر المفيد من علم البيانات

بنتكلم عن جزء بسيط عن : البيانات الضخمة Big Data تحليل البيانات Data Analysis علوم البيانات Data Science التنقيب في البيانات Data mining البيانات المفتوحة Open Data البيانات الوصفية Metadata كثرة المسميات ولابد ان نفرق بينهم 

عالِم بيانات هذا النوع من الاشخاص نادر جدا, يتميز بفضول كبير نحو البيانات دوره او مهامه : تنظيف وتحضير البيانات و ترتيبها لغات البرمجة يتقن عدة لغات كالـ Python, R, SAS, Hive, Pig, Spark Matlab, SQL,

مهاراته : لديه خبرة في مجال الحوسبة الموزعة, تصميم النماذج التنبؤية, استنتاج نظريات من البيانات, التمثيل الصوري للبيانات و مهارات عالية في الرياضيات, الاحصاء وتعلم الآلة امثلة عن الشركات الموظِفة : جوجل, مايكروسوفت و ادوبي اتمنى ان اكون استطعت تلخيص علم البيانات بشكل سلس ومفهوم

محلل بيانات دوره ومهامه:تجميع و معالجة البيانات و التحليل الاحصائي لها لغات البرمجة يتقن عدة لغات كالـ R, Python, HTML, Javascript, C++ , SQL مهاراته:متمكن من ادوات الجدولة وقواعد البيانات , قدرته على التواصل المرئي باستعمال البيانات. لديه احاطة بالرياضيات, احصاء و تعلم الآلة

مصمم بيانات دوره ومهامه:انشاء مخططات لتسير البيانات, حماية و صيانة البيانات لغات البرمجة يتقن عدة لغات SQL, XML, Hive, Pig, Spark مهاراته:متمكن من طرق انشاء مستودعات للبيانات, متمكن من قواعد البيانات, متمكن من تقنيات الـذكاء التجاري و نمذجة البيانات بالاضافة الى تصميم الانظمة

مهندس بيانات دوره ومهامه : تصميم, تطوير, اختبار و صيانة انظمة البيانات لغات البرمجة يتقن عدة لغات كالـ SQL, Hive, R, Pig, Matlab, C++, Perl M, Jave, Ruby, SPSS مهاراته : متمكن من قواعد البيانات (SQL and No-Sql) تطوير API للتعامل مع البيانات و معرفة بطرق انشاء مستودعات البيانات

احصائي دوره ومهامه:تجميع, تحليل البيانات بطريقة كمية ووصفية باستعمال النظريات الاحصائية يتقن عدة لغات كالـ R, SAS, SPSS, Matlab, Stata, Python, Perl, Hive, Pig, Spark, SQL مهاراته:النظريات الاحصائية , تعلم الآلة , التنقيب على البيانات, , قواعد البيانات و الحوسبة لنكد , انبينسيكو

مُحلل تِجاري دوره ومهامه: تحسين طرق تسير المشروع ويلعب دور الوسيط بين الادارة و الـ IT لغات البرمجة: SQL مهاراته: ادوات اساسية كالاوفيس, تمثيل البيانات, مستمع جيد وقصاص ماهر, مستوعب لطرق الذكاء التجاري ولديه معرفة بطرقة نمذجة البيانات امثلة عن الشركات الموظِفة : ابر, دل, اوراكل

مسير البيانات والتحليلات دوره ومهامه : تسير فرق تحليل البيانات لغات البرمجة SQL, R, SAS, Python, Matlab,, Java مهاراته : قواعد البيانات, القيادة و ادارة المشاريع. متحاور بارع, لديه معرفة بمجال التنقيب عن البيانات و النماذج التنبؤية امثلة عن الشركات الموظِفة : كورسيرا, موتورولا

للاسف التقنيين كلهم متجهين الى امن المعلومات رغم انه متوقع ان رواتب مختصين البيانات الضخمة Big Data تعادل ضعف راتب امن المعلومات والان سوف نتكلم عن ماهي ادوار الموظفين في علم البيانات؟ وماهي اللغات المفروض ان يتقنها ؟ وماهي المهارات التي يتمتع بها ؟ ومن هي الشركات الموظفه لهم؟

البيانات الوصفية Metadata هي المعادل للظرف (المغلّف) الخاص بالرسائل الورقية حيث يحتوي على معلومات عن الاتصالات التي ترسلها وتستقبلها فعنوان رسائل بريدك الإلكتروني، وطول الرسالة، ومكانكم الجغرافي، والشخص الذي تتواصلون معه كلها تعد أحد أنواع البيانات الوصفية باستثناء محتوى الاتصال

المستفيدون من البيانات المفتوحة: موظفو القطاع الحكومي بشكل عام مطورو التطبيقات الذكية الباحثون في المؤسسات الأكاديمية وغيرها وهي: تعزيز الشفافية ومشاركة المواطنين تحسين كفاءة الخدمات الحكومية إتاحة الفرص لإبداع خدمات ومنتجات جديدة إتاحة الفرص لخلق مجالات عمل وفرص اقتصادية جديدة

وتتعدد أنواع البيانات التي تنتجها أو تمتلكها الجهات الحكومية ومنها على سبيل المثال: البيانات المتعلقة بالسكان والمساكن مثل عدد السكان وتوزيعاته بحسب العمر، الحالة الاجتماعية وغيره بيانات سوق العمل مثل حجم سوق العمل والوظائف المتاحة في مختلف القطاعات. بيانات القطاع الصحي … الخ

البيانات المفتوحة Open Data هي تلك البيانات التي يُمكن لأي فرد استخدامها بحرية ودون قيود تقنية أو مالية أو قانونية وأيضًا إعادة استخدامها ونشرها مع مراعاة متطلبات الرخصة القانونية التي تم نشر هذه البيانات بموجبها. ويمكن لجميع الجهات حكومية وغير حكومية أن تتبنى نشر بياناتها

التنقيب في البيانات Data mining هي عملية تحليل البيانات من مختلف المنظورات وتلخيصها إلى معلومات مفيدة التي يمكن استخدامها لزيادة الإيرادات وخفض التكاليف (أو كلاهما) برامج Data mining هي أداة من أدوات تحليل البيانات، فهي تسمح بتحليل البيانات من أبعاد وزوايا مختلفة ومن ثم تصنيفها

وهذا غالباً بيكون عن طريق تطوير Models و ال Models هذا ممكن تكون مبنية على Mathematical models, Statistical models, Machine learning, deep learning كل هذي طرق مختلفة لبناء ال models اللي بتساعده انه من خلال البيانات اللي معاه يقدر يتوقع حاجات تحصل في المستقبل

علوم البيانات Data Science هو مجال يختص بكل ماله علاقة بالبيانات, سواء بيانات Structured أو لأ الهدف الأساسي لل Data Scientist هو انه يبحث في البيانات عن الأنماط اللي بتتكرر و اللي على أساسها ممكن نتوقع حاجة تحصل في المستقبل, مثل توقعات الطقس من هطول امطار واعاصير وسيول … الخ

كلها بيانات و أسئلة مهمة, لكن أغلبها بتكون اسئلة اجابتها موجودة في البيانات أو محتاجة عمليات احصائية بسيطة, مو بالضرورة يكون عنده خلفية برمجية و ان كان من المتوقع انه يكون عنده القدرة على التعامل مع قواعد بيانات أو البرامج الخاصة بها, مع خلفية احصائية

تحليل البيانات Data Analysis هو شخص يتعامل مع البيانات بشكل يومي و غالباً من خلال ادوات جاهزة, مثل Tableu أو حتى Excel, الفكرة انه أغلب الوقت بيكون هدفه هو الوضع الحالي أكثر من المستقبل,مثل حجم المبيعات اليوم, أو كم عميل جديد, أو مقارنة السنة هذي بالسنة اللي فاتت في عدة جهات

وهذا اللي بيسمح بتخزين البيانات و الحفاظ عليها عن طريق ال Redundancy و يعطيك abstraction بحيث ما تحتاج تعرف تفاصيل كثير عن البيانات و فين متخزنة وبعد كذا تحتاج برامج تشتغل على البيانات وهذا بنسميه Programming Model يمكن اشهرهم على الاطلاق هو MapReduce وهناك ادوات اخرى كثير

من أشهر أنظمة ال Big Data هي مجموعة تقنيات Apache Hadoop و هدوب Hadoop هي مظلة لمجموعة كبيرة جداً من التقنيات اللي كل حاجة فيها بتعمل وظيفة معينة مثال: أول تقنية و هي HDFS وهذا اسم ال File System تبع Hadoop و اللي يعتبر القاعدة الأساسية اللي بتني عليها كل التقنيات التانية

البيانات الضخمة Big Data هي مجموعة من البيانات التي هي بحجم يفوق قدرة معالجتها بإستخدام قواعد البيانت التقليدية من تخزين وادارة وتحليل في فترة زمنية مقبولة هذي البيانات ليست مخزنة على سيرفر واحد بل على عشرات بل مئات الآلاف من السيرفرات اللي كلها بتساهم في بناء نظام ال Big Data

 

من : 

الوسوم

اترك تعليقاً

إغلاق
إغلاق

أنت تستخدم إضافة Adblock

برجاء دعمنا عن طريق تعطيل إضافة Adblock