۲-۲-۱-۱- کارآیی اطلاعاتی

وجود اطلاعات کافی در بازار و انعکاس به موقع و سریع اطلاعات، بر روی قیمت اوراق بهادار، ارتباط تنگاتنگی با کارایی بازار دارد. در بازار کارا، اطلاعاتی که در بازار پخش می‌شود به سرعت بر قیمت تأثیر می‌گذارد. در چنین بازاری قیمت اوراق بهادار به ارزش ذاتی آن نزدیک است، به عبارت دیگر، ویژگی مهم بازار کارا این است که قیمت تعیین شده در بازار، شاخص مناسبی از ارزش واقعی اوراق بهادار است. بنابراین بازار کارا به بازاری اطلاق می‌شود که در آن قیمت اوراق بهادار از قبیل قیمت سهام عادی منعکس‌کننده تمام اطلاعات موجود در بازار یاد شد.

بازار کارا باید نسبت به اطلاعات جدید حساس باشد. اگر اطلاعات تازه‌ای به اطلاع عموم برسد قیمت سهام عادی شرکت متناسب با جهت اطلاعات یاد شده تغییر خواهد کرد. اگر بازاری نسبت به اطلاعات جدید بی‌تفاوت باشد و عکس‌العمل لازم را نشان ندهد؛ یعنی تحلیل‌کننده‌ای در بازار برای ارزیابی و بررسی اثر اطلاعات جدید بر قیمت نباشد، طبعاً آن بازار کارآیی نخواهد داشت.
کارآیی اطلاعاتی به نوبه خود به سه شکل ضعیف^[۸۱]، نیمه‌قوی^[۸۲] و قوی^[۸۳] تقسیم می‌شود:
شکل ضعیف: انعکاس اطلاعات در قیمت سهام ممکن است در سطحی نازل و به اصطلاح در شکل ضعیف آن مطرح باشد. در این سطح از کارایی، قیمت‌های اوراق بهادار فقط اطلاعاتی را که در گذشته قیمت‌ها نهفته است و از توالی تاریخی قیمت‌ها حاصل می‌شود، منعکس می‌کنند، و این اطلاعات بلافاصله در قیمت‌های جاری منعکس می‌شوند. در این حالت فرض می‌شود قیمت اوراق بهادار فقط منعکس‌کننده روند تاریخی قیمت سهام است و قادر نیستیم روند آینده قیمت سهام را پیش‌بینی کنیم؛ قیمت سهام روند خاصی ندارد. بازار سهام حافظه‌ای ندارد؛ یعنی قیمت سهام در بازار کارا به شکل تصادفی تغییر می‌کند. این همان نظریه گشت تصادفی^[۸۴] است. اگر این نظریه صحت داشته باشد، آن دسته از سرمایه‌گذاران که براساس نمودار سهام را انتخاب می‌کنند، راه خطا می‌روند. (اصولا دو گروه تحلیل‌گر در بازارهای سرمایه داریم: چارتیست‌ها ^[۸۵]بنیادگراها^[۸۶])
چارتیست‌ها معتقدند که امکان محاسبه ارزش ذاتی سهام و اوراق قرضه وجود ندارد. باید انتخاب سهام و اوراق قرضه وجود ندارد. باید انتخاب سهام را براساس نمودار انجام دهیم. می‌گویند بازار دستخوش حالت‌های شبه‌روانی می‌شود. همچنین می‌گویند با بررسی روند گذشته قیمت‌ها می‌توان روند آینده را پیش‌بینی کرد. آدمی خبره می‌تواند این روند را تشخیص دهد. استادان مالی دانشگاه‌ها به این گروه ایراد می‌گیرند و می‌گویند آن‌ها فالگیران حرفه مایند، گروه اخیر هوادار بررسی‌های بنیادی‌اند. معتقدند هر سهم ارزش ذاتی دارد، و برای تعیین آن ارزش، می‌باید با اتکا به همه مطالعات موجود به مطالعه عمیق و بنیادی شرکت و کل اقتصاد پرداخت. چارتیست‌ها در برخورد با نظریات و استدلال‌های بنیادگراها موضعی دفاعی‌تر گرفته می‌گویند: هدف ما تعیین تغییرات بلندمدت ارزش سهام نیست؛ باید به دنبال استفاده از فرصت‌های کوتاه‌مدت بود؛ سودهای آتی را باید دنبال کرد. مطالعات دانشگاهیان نشان داده است که با احتساب هزینه‌های کمیسیون خرید و فروش، سود کسی که از نمودار استفاده می‌کند، بیش از کسی نیست که برحسب تصادف سهام را می‌خرد. البته، هر دو گروه معتقدند که بازار تغییر قیمت دارد و مقداری از این تغییر لحظه‌ای است و حاصل عدم تعادل بین عرضه و تقاضا در لحظه خاص است و به ارزش بلندمدت سهام ربطی ندارد. بقیه تغییرات میان‌مدت و بلندمدت است. چارتیست‌ها می‌گویند ما می‌توانیم منحنی بالا و پایین رفتن قیمت سهام را ترسیم کنیم، و یک راه پول‌دار شدن این است که معین کنیم در چه زمان باید سهام را خرید و در چه زمانی آن را فروخت. بنیادگراها می‌گویند مشکل این استکه نمی‌دانیم چه وقت قیمت، پایین‌تر است که بخریم و چه وقت بالاترین است که بفروشیم. اینان می‌گویند میزان بازده به‌دست آمده به پذیرش خطر مربوط می‌شود. اینان نمی‌گویند میلیونر شدن در بازار بورس ممکن نیست؛ اما عقیده دارند میلیونر شدن از روی نمودار امکان ندارد، چنین کاری در بازار کارامد فقط به اقبال افراد بستگی دارد. در بازار کارامد نمی‌توان پیوسته بازدهی بهتر از بازار به‌دست آورد. در کوتاه‌مدت می‌شود، اما آن هم صرفاً به اقبال بستگی دارد و نه به خبرگی و چارت.
پس، در شکل ضعیف نظریه کارایی بازار، فرض بر این است که قیمت‌های سهام بازتاب آن اطلاعاتی است که در تاریخچه گذشته قیمت‌های سهام نهفته است؛ مثلاً، اگر الگویی فصلی در قیمت‌های سهام یافت شود، مثلاً کاهش قیمت‌ها در آخرین روز معامله سال و آن‌گاه افزایش آن در اولین روز معامله سال جدید، بازار، این الگو را به‌سرعت شناسایی، و با تعدیل قیمت، اثر این پدیده را خنثی می‌کند. با پیش‌بینی افزایش قیمت در روز اول سال جدید، کارگزاران خواهند کوشید که در همان لحظه‌های اولیه افتتاح بورس در سال نو، از این تفاوت استفاده کنند. تلاش آن‌ها برای خرید، باعث افزایش قیمت در همان دقایق نخستین می‌شود. کارگزاران پخته‌تر و باهوش‌تر فرامی‌گیرند که کار درست‌تر، خرید سهام در آخرین روز پایانی سال قبل است، چراکه در این ساعت قیمت‌ها پایین‌تر است. تلاش آنان برای خرید در روز آخر باعث افزایش قیمت‌ها می‌شود، و دامنه کاهش قیمت در روز آخر را کاهش می‌دهد. این روند خرید زودتر و زودتر آن‌قدر ادامه می‌یابد تا اثری از بالا رفتن‌های عمده و پایین‌آمدن‌های بزرگ در نمودار قیمت‌ها باقی نماند. هر نوع الگوی مشابه و حتی پیچیده‌تری در طول زمان حذف می‌شود، تا آن‌جا که امکان هر نوع پیش‌بینی روند آینده از الگوی گذشته ناممکن شود. وقتی به این مرحله از کار برسیم، شکل ضعیف نظریه بازار کار تحقق یافته است.
شکل نیمه‌قوی: این سطح از نظریه می‌گوید که قیمت سهام، منعکس کننده همه اطلاعات عام و منتشر شده است. در این‌جا، اطلاعات عام محدود به قیمت‌های گذشته نیست و دربرگیرنده هر اطلاعاتی درباره عملکرد شرکت و مشخصات صنعتی است که آن شرکت در آن فعالیت می‌کند.
بورس‌های معروف دنیا معمولاً از شرکت‌ها می‌خواهند که اطلاعاتی درباره تمامی اوضاع شرکت را به اطلاع عموم برسانند. در بازار کارا در شکل نیمه‌قوی، قیمت بلافاصله با ورود اطلاعات جدید متأثر می‌شود؛ مثلاً‌ در بورس نیویورک، اگر قیمت سهم جنرال موتورز x دلار است، این رقم با توجه به همه اطلاعاتی است که درباره این شرکت منتشر شده است، و اگر اطلاعات تازه‌ای درباره این شرکت و یا صنعت و کل اقتصاد برسد، در یک بازار کارا، بلافاصله تعدیل قیمت صورت می‌گیرد. این کارایی کمک بزرگی به سرمایه‌گذاران است، به‌ویژه آن‌هایی که کاری با بورس ندارند، و نیز برای کسانی که شناختی همه‌جانبه از امور مالی ندارند. اگر تعدیل قیمت بلافاصله پس‌از رسیدن اخبار و وقوع حوادث رخ ندهد (که مثلاً در بورس تهران رخ نمی‌دهد) این نشانه عدم کارایی بازار وعدم استقرار نیروهای بازار در آن موقعیت است.
شکل قوی: در این حالت فرض آن است که تمام اطلاعات مربوط و موجود، اعم از اطلاعات محرمانه و اطلاعات در دسترس عموم (جاری) در قیمت اوراق بهادار انعکاس می‌یابد. قیمت اوراق بهادار حتی منعکس کننده تمام اطلاعات محرمانه جاری و تاریخی است. این دیگر گسترده‌ترین مفهوم از کارایی است؛ در این شکل، اگر اتفاقی در شرکت بیفتد دیگر نمی‌شود گفت که فقط مدیرعامل آن را می‌داند و دیگران از آن بی‌اطلاعند. در این زمینه، قیمت سهام شرکت مورد نظر بلافاصله در برابر این اتفاق واکنش نشان می‌دهد، چرا که دیگر اطلاعات محرمانه‌ای (معامله به اتکای اطلاعات محرمانه^[۸۷] در بسیاری از کشورها جرم، و حتی جرم جنایی به شمار می‌رود و در صورت اثبات، مشمول جرائم سنگین و پرداخت خسارت می‌شود) نباید در میان باشد.
در چنین شرایطی، فرض این است که سیستم‌های کنترل داخلی شرکت به قدری قوی است که کسی نمی‌تواند اطلاعات محرمانه یا اطلاعات اختصاصی، داشته باشد. وقتی مثلاً مدیرعامل یا هیأت‌مدیره از امری باخبر می‌شوند، بلافاصله بقیه نیز آن را می‌شنوند و چون همه خبر دارند، قیمت به سرعت تأثیر می‌پذیرد و بنابراین، اطلاعات به ظاهر محرمانه دیگر ارزش چندانی برای آن مدیرعامل و سایر مدیران عالی‌رتبه ندارد. (معمولاً معامله سهام توط مدیران ممنوع نیست، ولی آن معامله‌ها می‌باید به اطلاع ضابطان و مسئولان رسانده شود. به علاوه، مدیرانی که سهم شرکت خود را می‌خرند یا می‌فروشند، نباید به سرعت این کار را انجام دهند. معمولاً برای این کار فاصله زمانی تعیین می‌شود؛ مثلاً ۶ ماه، یعنی حداقل بین خرید و فروش ۶ ماه فاصله زمانی لازم است و چنین فاصله‌هایی مجاز است و می‌باید به اطلاع عموم هم برسد) شکی نیست که این نوع کارآیی فقط در کتاب‌ها یافت می‌شود، و حتی در بورس‌های بسیار معتبر هم واقعیت نمی‌یابد؛ یعنی آن‌هایی که دسترسی دست اول به اطلاعات دارند، بازدهی سرمایه‌گذاری‌شان بیش از عامه مردم و سرمایه‌گذاران معمولی است. اگر بازار به شکل قوی کارا نباشد، کسی که سرمایه دارد و اطلاعاتش از بقیه بیشتر است و افراد خبره‌ای رای تحلیل این اطلاعات خاص در دسترس دارد، قاعدتاً بازده بیشتری به‌دست می‌آورد. البته، کسانی هم هستند که غیر از اشاره به شواهد تجربی، معتقدند که شکل قوی بازار کارامد سرمایه عملی نیست، چون تمایز بین اطلاعات محرمانه و غیرمحرمانه میسر نیست، و به‌علاوه از شدت محرمانه بوددن اطلاعات در طول زمان کاسته می‌شود. چه‌بسا موضوعی که امروز محرمانه است، فردا غیرمحرمانه تلقی شود. به علاوه، هنوز آزمون دقیقی که آشکارا بیانگر تأثیر اطلاعات محرمانه بر قیمت اوراق بهادار باشد، به اجرا درنیامده است؛ یعنی به‌طور عملی روشن نشده که چنین تأثیری وجود دارد.
هرچه از سطح ضعیف نظریه به سمت سطح قوی نزدیک می‌شوید، انواع مختلف تحلیل‌های سرمایه‌گذاری در تعیین مرز بین سرمایه‌گذاری‌های سودآور و غیرسودآور اثر خود را از دست می‌دهند و کم‌رنگ‌تر می‌شوند.
اگر شکل ضعیف معتبر باشد، تحلیل فنی یا تحلیل نمودار قیمت سهام بی‌اثر می‌شود. وقتی حرکت قیمت سهام از الگوی خاصی تبعیت می‌کند، استفاده‌کننده از نمودار (چارتیست) نتیجه می‌گیرد که سهام در آینده جهت معینی خواهد داشت. درواقع، چارتیست از فنون مختلف برای ارزیابی رشته قیمت‌های قدیم سهام سود می‌جوید تا رشته قیمت‌های آینده سهام را برآورد کند. اگر شکل ضعیف بازار کارا برقرار باشد، اطلاعاتی در قیمت‌های گذشته سهام وجود ندارد که در پیش‌بینی آینده به‌کار آید. هر اطلاعی که بوده توسط هزاران چارتیست قابل در مناطق مختلف تحلیل شده، و به اتکای آن تحلیل‌ها خرید و فروش صورت گرفته است. از این‌رو، قیمت سهام به سطحی می‌رسد که دربرگیرنده همه اطلاعات مفید منعکس در قیمت‌های گذشته سهام‌ است.
اگر شکل نیمه‌قوی فرضیه بازار کارا مورد نظر باشد، هیچ تحلیلی به شما کمک نمی‌کند که بازدهی بهتر از بقیه به دست آورید. تا زمانی که تحلیل شما به اطلاعات عام منتشر شده متکی است، مثلاً تحلیل صورت‌های حسابداری شرکت، دیگر تحلیل کارساز نیست و نمی‌تواند به تمایز بین سرمایه‌گذاری سودآور و غیرسودآور منجر شود. این صورت‌ها را قبلاً هزاران تحلیل‌گر دیگر مورد بررسی قرار داده‌اند؛ آن تحلیل‌گران به اتکای آن‌چه یافته‌اند، عمل کرده‌اند، و قیمت جاری سهام اکنون بازتاب تمام اطلاعات مربوطی است که در صورت‌های مالی یافت می‌شود. همین مسئله در مورد سایر منابع اطلاعات عمومی منتشر شده صدق می‌کند.

۲-۲-۲- فروض نظریه کارایی بازار

شرایط بازار رقابت : آنچه در کتاب‌های اقتصاد درمورد شرایط برقراری رقابت در بازار مطرح است، مطالبی است که در این مورد قابل ذکر است. نکته‌هایی از قبیل تعداد فراوان و کافی عرضه‌کننده و تقاضا‌کننده در بازار، و یا آزاد بودن ورود و خروج به بازار برای همه مردم، و نبودن مانع و شرط و شروطی برای این کار، شرط مهم حضور تعداد بسیاری شرکت‌کننده در بازار است؛ یعنی بازار وقتی کارا می‌شود که تعداد افرادی که اقدام به خرید و فروش می‌کنند بسیار زیاد باشد. در بازاری که معامله کم انجام می‌شود و افراد مشارکت‌کننده در آن کم باشند کارآیی وجود ندارد.
اطلاعات رایگان : اطلاعات باید به سرعت و فوریت و با حداقل هزینه به اطلاع دست‌اندرکاران بازار برسد.
امنیت معاملات : کسی که در این بازار خرید و فروش می‌کند باید احساس امنیت کند و اطمینان بیابد که آنچه بابت اوراق بهادارش دریافت یا پرداخت می‌کند، به ارزش ذاتی آن نزدیک است؛ یعنی قیمت عادلانه‌ای برای کالای خود دریافت می‌کند.
هزینه پایین معاملات : معامله در بازار کارا نباید گران باشد، مخارج معامله کردن بسیار کم، و به وضعیت بدون خرج بودن نزدیک باشد.
گستردگی بازار : هیچ معامله‌گری آن چنان که قدرت نداشته باشد که بازار را زیر نفوذ خود بگیرد و تأثیر مهمی بر بازار بگذارد.
عدم محدودیت فرض دهی / گیری : در این بازار، هر کس می‌تواند به نرخ‌های رایج بازار مالی قرض بدهد و قرض بگیرد. این مورد به معنی عدم وجود هزینه‌های معامله کردن و مالیات در بازار هم هست.
وجود آربیتراژگران : در بازار کارا، تعدیل قیمت‌ها به سرعت انجام می‌شود. در این بازار افراد زیادی حضور دارند که اطلاعات را دریافت و ارزیابی نموده و ارزش آن را پیدا می‌کنند و به فوریت اقدام به خرید و فروش می‌کنند. اقدام فوری آنان باعث می‌شود که اطلاعات موجود دقیقاً و به سرعت روی قیمت‌ها انعکاس یابد. چون ورود اطلاعات به بازار و تأثیر آن بر قیمت‌ها به شکل تصادفی است و وابستگی و تمایل و تورش خاصی ندارد، پس تغییرات قیمت در این بازار روند خاصی ندارد و روند تغییر قیمت و الگوی رفتاری آن تصادفی و غیرمنظم است و به اصطلاح قیمت تابع گشت تصادفی است.
رقابت : شرط لازم برای کارایی، وجود رقابت است. در همه بازارهای عمده مالی جهان، غیر از تعداد زیاد معامله‌کننده تعداد زیادی هم دلال و کارگزار و واسطه متخصص خرید و فروش روی سهام وجود دارد. اینها افراد کارشناس در خرید و فروش هستند و غیر از تخصص، سازمان‌هایشان هم سرمایه کافی دارند که به حساب خود و برای پرتفوی خودشان سهام و اوراق بهادار دیگر بخرند. این افراد آن پختگی را دارند که تأثیر اطلاعات را بر قیمت سهام بسنجند.
اطلاعات دو طرفه : بازار باید در معرض ترافیکی دوطرفه از اطلاعات باشد، به عبارت دیگر، بازار کارا طوری است که در هر مقطعی از زمان، عده‌ای در آن خریدارند و عده‌ای فروشنده. این طور نیست که در زمانی همه خریدار باشند و یا همه فروشنده.

۲-۲-۳- انتقادات وارد شده به نظریه کارایی بازار سرمایه

تجربه عملی : در دنیای واقعی استدلال‌های روشنی علیه نظریه کارایی بازار وجود دارد. برای مثال سرمایه گذارهایی وجود دارند که همواره در اکثر موارد سودی بسیار بالاتر از حد متوسط بازار کسب کرده‌اند. وارن بافت یکی از همین افراد است. استراتژی سرمایه گذاری او خرید سهامی است که قیمت شان پایین تر از حد واقعی است. همچنین تعداد زیادی از مدیران سرمایه گذاری وجود دارند که بهتر از دیگران روندهای قیمت سهام را بازارها شناسایی می کنند و بر همین مبنا سود بالایی کسب می کنند. بنابراین در حالی که چنین مواردی وجود دارد چطور ممکن است عملکرد سرمایه گذاران اتفاقی باشد و از هیچ الگویی پیروی نکند؟
الگوهای یافت شده : در بسیاری از استدلال‌هایی که علیه نظریه کارایی بازار مطرح شده، آمده است الگوهای مشخص و تکرارشونده ای برای قیمت‌ها وجود دارد. در ادامه به برخی از مثال‌های این مورد اشاره می‌کنیم. تاثیر ژانویه الگویی تکرارشونده است که نشان می‌دهد در ماه نخست هر سال معمولاً سود بالاتری نصیب سرمایه گذارها می‌شود. همچنین دوشنبه آبی در وال استریت عبارتی است که خرید سهام را در جمعه بعدازظهر و صبح دوشنبه اشتباه اعلام می‌کند زیرا طبق الگوی تاثیر آخر هفته قیمت سهام یک روز پیش از تعطیلی آخر هفته و روز بعد از این تعطیلی بالاتر از دیگر ایام هفته است.
رفتار غیر منطقی سرمایه گذاران : مطالعاتی که در زمینه رفتار مالی سرمایه گذاران صورت گرفته و در آن به بررسی تاثیر ویژگی‌های شخصیتی سرمایه گذارها بر قیمت سهام پرداخته شده آشکار می‌کند که برخی الگوهای قابل پیش بینی در بازار سهام وجود دارد. معمولاً سرمایه گذارها مایلند سهامی را بخرند که قیمت آن پایین‌تر از ارزش واقعی است و برعکس تمایل دارند سهامی را بفروشند که قیمت کنونی آن از ارزش واقعی آن بیشتر است و در بازاری که تعداد زیادی سرمایه گذار در آن وجود دارد هر وضعیتی جز کارایی می‌تواند حاکم باشد.

۲-۲-۴- پاسخ نظریه کارا

نظریه کارایی بازار احتمال وجود موارد متناقض با قواعد این نظریه را نادیده نمی‌گیرد. در واقع طبق نظریه یاد شده، قرار نیست قیمت سهام همواره مساوی ارزش واقعی و منصفانه آنها باشد. قیمت‌ها تنها در برخی مواقع و به طور اتفاقی ممکن است بالاتر یا پایین‌تر از ارزش واقعی شان باشند بنابراین در نهایت قیمت‌ها به حد متوسط شان بازخواهند گشت.
به این ترتیب چون انحراف قیمت از ارزش واقعی حالت اتفاقی دارد، استراتژی‌های سرمایه گذاری که باعث کسب سود بالاتر از حد متوسط بازار می‌شوند همواره موفقیت آمیز نیستند. از سوی دیگر طبق این نظریه کسب سود بالاتر از حد متوسط حاصل تبحر و تجربه سرمایه گذار نیست بلکه شانس باعث این وضعیت شده است. طرفداران نظریه کارایی بازار طبق قوانین احتمالات چنین می‌گویند: در هر زمان مشخص در بازاری با تعداد زیاد سرمایه گذار، برخی سرمایه گذارها سودی بالا کسب می‌کنند و برخی نیز همان سود متوسط بازار را می برند.

۲-۲-۵- نتیجه گیری

طرفداران نظریه کارایی بازار معتقدند سرمایه‌گذارها از هر روند غیرمنطقی در قیمت سهام مادام که وجود دارد برای کسب سود بالاتر از حد متوسط بازار استفاده می‌کنند. در مواردی نظیر تاثیر ژانویه (الگویی قابل پیش بینی برای تغییرات قیمت) هزینه‌های بالا در معاملات عمدتاً بیشتر از سود تلاش برای کسب مزیت از این روند است.
در دنیای واقعی بازارها نمی‌توانند به طور مطلق کارا یا به طور کامل غیرکارا باشند و بهتر است بازارها را ترکیبی از هر دو حالت تصور کنیم طوری که حوادث و تصمیم‌های روزانه همواره فوراً بر قیمت سهام تاثیر نمی‌گذارند. بنابراین فرض پیش بینی پذیر بودن بازار سرمایه فرضی غیر معقول نبوده و می‌توان به تحقیق در این زمینه و بسط روش‌های پیش بینی پرداخت.

۲-۳- داده کاوی

۲-۳-۱- مقدمه

در دنیای به شدت رقابتی امروز، اطلاعات بعنوان یکی از فاکتورهای تولیدی مهم پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از داده ها توجه بسیاری از افراد دخیل در صنعت اطلاعات و حوزه های وابسته را به خود جلب نموده است.
از طرفی امروزه شاهد این هستیم که پس از گذشت بیش از پنج دهه از استفاده از رایانه در ذخیره سازی و تحلیل داد‌ ها و همزمان با پیشرفت فن آوری اطلاعات، هر دو سال یکبار حجم داده‌ها، دو برابر می شود. همچنین تعداد پایگاه‌های داده با سرعت بسیار زیادی رشد می کند. حجم بالای داده های دائما در حال رشد و نیز تنوع آنها به شکل داده متنی، اعداد، گرافیک ها، نقشه ها، عکس ها و تصاویر ماهواره‌ای نمایانگر پیچیدگی کار تبدیل داده‌ها به اطلاعات است. علاوه بر این، تفاوت وسیع در فرآیندهای تولید داده مثل روش دستی مبتنی بر کاغذ و روش دیجیتالی مبتنی بر کامپیوتر، مزید بر علت شده است. استراتژی ها و فنون متعددی برای گردآوری، ذخیره، سازماندهی و مدیریت کارآمد داده های موجود و رسیدن به نتایج معنی دار بکار گرفته شده‌اند.
پیشرفت‌های حاصله در تکنولوژی اطلاعات، ابزارهای جدیدی را برای غلبه بر رشد مستمر بانک‌های اطلاعاتی فراهم می کنند. این پیشرفت ها هم در بعد سخت افزاری و هم در بعد نرم افزاری حاصل شده اند.. ریزپردازنده‌های سریع، ابزارهای ذخیره داد‌ های انبوه ، اسکنرها، چاپگرها و دیگر ابزارهای جانبی، نمایانگر پیشرف‌ های حوزه سخت افزار هستند. پیشرفت‌های حاصل در نظا‌ های مدیریت بانک اطلاعات در طی دهه‌ های اخیر نمایانگر تلاش‌های بخش نرم افزاری است.
در نتیجه می‌توان اینگونه گفت که امروزه در همه زمینه‌ها با حجم عظیمی از داده‌ها روبرو هستیم که اگر به دانش تبدیل نشوند هیچ ارزشی ندارند. برای استفاده از آن ها به ابزارهای کشف دانش نیاز داریم. داده کاوی به عنوان یک توانایی پیشرفته در تحلیل داده و کشف دانش مورد استفاده قرار می‌گیرد.
داده کاوی یا کشف دانش در پایگاه داده‌ها علم نسبتا تازه ای است که با توجه پیشرفت کشور در زمینه فناوری اطلاعات و نگاه‌های ویژه به دولت الکترونیک و نفوذ استفاده از سیستم‌های رایانه‌ای در صنعت و ایجاد بانک‌های اطلاعاتی بزرگ توسط ادارات دولتی،دانشگاه‌ها، بانک‌ها و بخش خصوصی نیاز به استفاده از آن به طور عمیقی احساس می‌شود. داده کاوی یعنی کشف دانش و اطلاعات معتبر پنهان در پایگاه‌های داده یا به بیان بهتر به تجزیه و تحلیل ماشینی داده ها برای پیدا کردن الگوهای مفید و تازه و قابل استناد در پایگاه داده‌های بزرگ، داده کاوی می گویند. داده کاوی در پایگاه‌های داده کوچک نیز بسیار پرکاربرد است و از نتایج و الگوهای تولید شده بوسیله آن در تصمیم گیری‌های استراتژیک تجاری شرکت‌های کوچک نیز می‌توان بهره‌های فراوان برد. کاربرد داده کاوی در یک جمله را این گونه می‌توان بیان کرد: داده کاوی اطلاعاتی می‌دهد، که شما برای گرفتن تصمیم هوشمندانه‌ای درباره مشکلات سخت شغلتان به آنها نیاز دارید.
داده کاوی به عنوان مهمترین کاربرد داده‌های موجود در انباره‌های داده شناخته می‌شود. در حقیقت داده کاوی داده‌های موجود را مورد تحلیل قرار می‌دهد تا روندهای احتمالی، ارتباط‌های غیر محسوس والگوهای مخفی را از بین انبوه داده‌ها، شناسایی کند. در واقع هدف از داده کاوی ایجاد مدل‌هایی برای تصمیم گیری است. این مدل‌ها رفتارهای آینده را براساس تحلیل‌های گذشته پیش بینی می‌کنند. در این فرایند از الگوریتم‌های پیچیده ریاضی و آماری استفاده می‌شود تا داده‌ها تبدیل به دانش سازمان شوند.

۲-۳-۲- مفهوم داده کاوی

کاوش‌های ماشینی در داده‌ها یا همان داده کاوی را باید یکی از سامانه‌های هوشمند دانست. سامانه‌های هوشمند زیر شاخ‌های بزرگ و پرکاربرد از یادگیری ماشین هستند. حوزه جدید یادگیری ماشین به واقع همان امتداد و استمرار دانش کهن آمار است که در جهت ماشینی کردن یادگیری، تعلّم، و دانش در حال حرکت است.
عبارت داده کاوی مترادف با یکی از عبارت‌های استخراج دانش، برداشت اطلاعات، وارسی داده ها و حتی لایروبی کردن داده هاست که در حقیقت کشف دانش در پایگاه داده ها را توصیف می‌کند. کشف دانش در پایگاه داده‌ها در جهت کشف اطلاعات مفید از مجموعه بزرگ داده هاست. دانش کشف شده می‌تواند قاعده‌ای باشد تا ویژگی‌های داده‌ها، الگوهایی که به طور متناسب رخ می‌دهند، خوشه بندی موضوع‌های درون پایگاه داده ها و غیره را توصیف می‌کند.
یک کاربر سیستم کشف دانش در پایگاه داده ها^[۸۸] بایستی درک بالایی از قلمرو داده ها به منظور انتخاب زیر مجموعه صحیحی از داده ها، رده مناسبی از الگوها و معیار خوبی برای الگوهای جالب داشته باشد. بنابراین سیستم کشف دانش در پایگاه داده ها باید ابزارهایی با اثر تعاملی داشته باشد نه سیستم‌های تجزیه و تحلیل خودکار. لذا کشف دانش از پایگاه داده‌ها باید مثل یک فرایند شامل گام‌های زیر باشد: