«کلان داده» یا «مِه داده» (واژه مصوب فرهنگستان زبان و ادب فارسی برای کلمه Big Data) به رشد چشم‌گیر حجم داده‌های ساختار یافته و ساختار نیافته، سرعت تولید و گردآوری آن‌ها و دامنه نقاط داده پوشش داده شده اشاره دارد. کلان داده معمولا از چندین منبع و در فرمت‌های گوناگون گردآوری (تجمیع) می‌شود. افزایش رشد داده‌های موجود برای سازمان‌ها، کسب‌و‌کارها و دولت‌ها هم فرصت و هم تهدید محسوب می‌شود. دلیل این امر نیاز به روش‌های پیشرفته ذخیره‌سازی، پردازش و زیرساخت‌های لازم برای این امور است.

شرکت‌هایی که قادر به گردآوری حجم بالایی از داده‌ها هستند، فرصت تجزیه و تحلیل عمیق‌تر و غنی‌تر آن‌ها را به دست می‌آورند. این داده‌ها را می‌توان از نظرات به اشتراک گذاشته شده به صورت عمومی در شبکه‌های اجتماعی و وب‌سایت‌ها، اطلاعات گردآوری شده از تجهیزات الکتریکی و برنامه‌های کاربردی اشخاص داوطلب، از طریق پرسش‌نامه‌ها، خرید محصول و اطلاعات چک-این‌های (Check-ins) انجام شده به صورت الکترونیکی (منظور ثبت موقعیت مکانی کاربر توسط خود او و با استفاده از برنامه‌های کاربردی است) به دست آورد. در حضور «حسگرها» (Sensors) و دیگر ورودی‌ها در دستگاه‌های هوشمند امکان گردآوری داده در طیف گسترده‌ای از شرایط فراهم می‌شود. برای مطالعه جامع پیرامون کلان داده، مطالب زیر پیشنهاد می‌شوند:

• کلان داده یا مِه داده (Big Data) — از صفر تا صد
• مفاهیم کلان داده (Big Data) و انواع تحلیل داده — راهنمای جامع
• تحلیل کلان داده (Big Data)، چالش ها و فناوری های مرتبط — راهنما به زبان ساده
• ابزارهای تحلیل کلان داده (Big Data) — راهنمای کامل

چالش‌های استفاده از کلان داده

در عین حال که کلان داده (Big Data) امکان تحلیل‌های بهتر را فراهم می‌کند، ممکن است مشکل سربار و یا «نویز» (Noise) نیز داشته باشد. شرکت‌ها باید قادر به مدیریت حجم بالای از داده‌ها باشند و همواره تشخیص بدهند که کدام داده‌ها دارای نشانه‌هایی از وجود نویز هستند. تعیین اینکه چه چیزی داده‌ها را با مساله نیازمند حل مرتبط می‌سازد، یک عامل کلیدی در تحلیل کلان داده است. علاوه بر این، ماهیت و قالب داده‌ها نیز ممکن است نیازمند انجام پردازش‌هایی پیش از انجام پرازش اصلی باشد. «داده‌های ساختار یافته» (Structured Data) دارای مقادیر عددی را می‌توان به راحتی ذخیره و مرتب‌سازی کرد. داده‌های ساختارنیافته مانند ایمیل‌ها، ویدئوها و اسناد متنی ممکن است نیاز به روش‌های پیچیده‌ای برای پردازش داشته باشند.

کلان داده (Big Data) معمولا در پایگاه‌داده کامپیوتری ذخیره و با استفاده از نرم‌افزارهایی که به طور اختصاصی برای مدیریت و پردازش حجم انبوهی از داده‌ها طراحی شده‌اند پردازش می‌شود. بسیاری از شرکت‌های «نرم‌افزار به عنوان خدمت» (Software-as-a-Service | SaaS) در مدیریت این نوع از داده‌های پیچیده متخصص هستند. تحلیلگران داده به بررسی روابط بین انواع مختلف داده مانند داده‌های «جمعیت‌شناسی» (Demographic) و تاریخچه خرید برای بررسی همبستگی بین آن‌ها (در صورت وجود) می‌پردازند. کسب‌و‌کارها اغلب از ارزیابی کلان داده توسط کارشناسان این حوزه به منظور تبدیل داده‌ها به دانش عملیاتی استفاده می‌کنند. چنین ارزیابی‌هایی ممکن است در خود سازمان و یا یک شرکت شخص ثالث که بر حوزه «تحلیل کلان داده» (Big Data Analytics) متمرکز شده انجام شود. تقریبا همه واحدهای یک سازمان از منابع انسانی گرفته تا بازاریابی و فروش می‌توانند از تحلیل داده و استخراج دانش از آن به منظور ارتقای تصمیم‌گیری‌ها و کارایی خود بهره‌برداری کنند. 

اگر نوشته بالا برای شما مفید بود، آموزش‌های زیر نیز به شما پیشنهاد می‌شوند:

• مجموعه آموزش‌های آمار، احتمالات و داده‌کاوی
• مجموعه آموزش‌های هوش محاسباتی
• مجموعه آموزش‌های پایگاه داده و سیستم‌های مدیریت اطلاعات
• مجموعه آموزش‌های یادگیری ماشین و بازشناسی الگو
• چگونه یک دانشمند داده شوید؟ — راهنمای گام‌به‌گام به همراه معرفی منابع

 

+ منبع