אנטרופיית מידע

בתורת המידע, אנטרופיית שאנון (באנגלית: Shannon entropy), או אנטרופיית מידע (באנגלית: Information entropy) היא מידה של אי הוודאות שמקושרת למשתנה מקרי. היא מכמתת את המידע שנמצא בתוך הודעה (או מקור מידע אחר) בדרך כלל בצורה של ביטים או ביטים/סימן. זה האורך המינימלי של הודעה שנחוץ כדי להעביר מידע בגודל נתון.

אנטרופיית שאנון מייצגת גם את הגבול העליון של דחיסת מידע ללא אובדן נתונים של כל שיטת דחיסה או תקשורת נתונים. אם מסתכלים על הודעה כעל שורה של סמלים, הצורה הקצרה ביותר של ייצוג של שידר ההודעה היא אנטרופיית שאנון בביטים/סימן כפול מספר הסימנים בהודעה המקורית.

למטבע הוגן (בעל סיכוי של 50% לעץ או פאלי) יש אנטרופיה של ביט אחד. אם המטבע אינו הוגן, אז אי הוודאות קטנה יותר (אם נתבקש להמר על התוצאה הבאה, נהמר על התוצאה הסבירה יותר) ולכן יש לה אנטרופיית מידע נמוכה יותר. שרשרת ארוכה של תווים החוזרים על עצמם (אאאא...) היא בעלת אנטרופיה קרובה ל-0, היות וכל תו הוא צפוי. האנטרופיה של טקסט אנגלי היא בין 1.0 ל-1.5 ביטים לאות, בעוד האנטרופיה המעשית שנמדדה על ידי שאנון בניסויים שכללו בני אדם עמדה על כ-0.6-1.3 ביטים לאות.

באופן שקול, ניתן למדוד את אנטרופיית שנון כמידה של כמות המידע הממוצעת שמקבל ההודעה מאבד אם הוא לא יודע את הערך של משתנה מקרי.

קלוד שאנון, אבי תורת המידע, הגה לראשונה את מושג אנטרופיית המידע (שקרוי על שמו) במאמר משנת 1948, "A Mathematical Theory of Communication".

קישורים חיצוניים

• אנטרופיית מידע בוויקיפדיה האנגלית