مفهوم آنتروپی، به عنوان شاخصی برای مقدار بی نظمی در هر سیستمی، از فیزیک نظری نشات گرفته است. در هوش مصنوعی، مقدار بی نظمی داده(عدم قطعیت اطلاعات) را پوشش می دهد که توسط افرادی چون کلود شانون توسعه یافت و با عنوان نظریه لطلاعات، به عنوان یکی از مهم ترین نظریه های علمی قرن بیستم ارائه شد.

مثلا به عنوان مثالی از طبقه بندی داده ها، هرچه داده ها منظم تر(خالص تر) باشند مقدار آنتروپی کمتر است و این به معنی قطعیت بیشتر نتایج با داده های مساله می باشد.

طبق شاخص آنتروپی، بهترین مجموعه داده ها دارای کمترین آنتروپی هستند.

شاید کلمات نتوانند زیبایی و تاثیر این فرمول در فن آوری اطلاعات و هوش مصنوعی را بیان کنند.