שינויים

'''תורת המידע''' (באנגלית: '''Information theory''') היא ענף של מתמטיקה שימושית ושל הנדסה שעוסקת בכימות של מידע. באופן היסטורי, פותחה תורת המידע כדי למצוא את הגבולות היסודיים בנושאים של דחיסת מידע ושל תקשורת נתונים אמינה. מאז הולדתו של ענף זה הוא התפצל ויש לו יישומים בהסקה סטטיסטית, רשתות שאינן רשתות תקשורת, ביולוגיה (נוירוביולוגיה), תאוריית המידע הקוונטית, אנליזה של נתונים, ותחומים אחרים, אם כי התחום משמש באופן נרחב במחקר של תקשורת נתונים.  

'''תורת המידע''' (באנגלית: '''Information theory''') היא ענף של מתמטיקה שימושית ושל הנדסה שעוסקת בכימות של מידע. באופן היסטורי, פותחה תורת המידע כדי למצוא את הגבולות היסודיים בנושאים של דחיסת מידע ושל תקשורת נתונים אמינה. מאז הולדתו של ענף זה הוא התפצל ויש לו יישומים בהסקה סטטיסטית, רשתות שאינן רשתות תקשורת, ביולוגיה (נוירוביולוגיה), תאוריית המידע הקוונטית, אנליזה של נתונים, ותחומים אחרים, אם כי התחום משמש באופן נרחב במחקר של תקשורת נתונים.  

מידה מרכזית בתורת המידע הוא מושג בשם '''[[אנטרופיית מידע]]''', שמבוטא בדרך כלל באמצעות מספר הביטים הנדרשים לשם אחסון או לשם תקשורת. באופן אינטואיטיבי, אנטרופיית מידע מכמתת את כמות אי-הוודאות המעורבת במשתנה מקרי. לדוגמה, הטלה של מטבע הוגן היא בעלת אנטרופיית מידע נמוכה יותר מאשר הטלה של קוביית משחק בעלת 6 פאות.  

מידה מרכזית בתורת המידע הוא מושג בשם '''[[אנטרופיית מידע]]''', שמבוטא בדרך כלל באמצעות מספר היבטים הנדרשים לשם אחסון או לשם תקשורת. באופן אינטואיטיבי, אנטרופיית מידע מכמתת את כמות אי-הוודאות המעורבת במשתנה מקרי. לדוגמה, הטלה של מטבע הוגן היא בעלת אנטרופיית מידע נמוכה יותר מאשר הטלה של קוביית משחק בעלת 6 פאות.  

האדם שנחשב כאבי תורת המידע הוא [[קלוד אלווד שאנון]], שכתב בשנת 1948  מאמר בשם "תאוריה מתמטית של מידע"  ובו תאר את המושג של אנטרופיית מידע.  

האדם שנחשב כאבי תורת המידע הוא [[קלוד אלווד שאנון]], שכתב בשנת 1948  מאמר בשם "תאוריה מתמטית של מידע"  ובו תאר את המושג של אנטרופיית מידע.