सूचना क्या है? आँकड़े, असतत संकेत और बिट
आँकड़े (डेटा) वे चिह्न हैं जिन्हें हम लिख सकते हैं: अक्षर, अंक, पिक्सल, ध्वनि। जब वे कुछ नया बताकर हमारा संदेह घटाते हैं तब वे सूचना बन जाते हैं।
बिट सूचना का सबसे छोटा टुकड़ा है: एक सही हाँ/ना सवाल का जवाब, जिसे 0 या 1 लिखते हैं। बाइट में 8 बिट होते हैं।
असतत और सतत
सतत संकेत, जैसे ध्वनि-तरंग, कोई भी मान ले सकता है। असतत संकेत अलग-अलग मान लेता है, जैसे सीढ़ियाँ। तरंग को कंप्यूटर में रखने के लिए हम उसे समय-समय पर मापते हैं (नमूना लेना) और हर मान को कुछ स्तरों में से एक में गोल करते हैं। 2 स्तर हों तो हर नमूने को 1 बिट; 16 स्तर हों तो 4 बिट।
सूचना प्रक्रियाएँ: भंडारण, प्रसंस्करण, स्थानांतरण
सूचना कई तरह के चरणों से गुज़रती है।
- बनना / इकट्ठा होना: सेंसर, कैमरा या व्यक्ति आँकड़े बनाता है।
- भंडारण: बाद के लिए आँकड़े रखना (मेमोरी, डिस्क, काग़ज़)।
- प्रसंस्करण: नियमों से आँकड़े बदलना: छाँटना, गणना, संपीड़न, खोज।
- स्थानांतरण (संचरण): स्रोत से चैनल (तार, रेडियो, फ़ाइबर) होकर प्राप्तकर्ता तक आँकड़े भेजना।
असली चैनलों में शोर होता है जो बिट पलट सकता है। इसलिए प्रणालियाँ जाँच-बिट जोड़ती हैं या संदेश दोहराती हैं ताकि प्राप्तकर्ता गलती पहचानकर सुधार सके। चैनल की गति की भी सीमा होती है, जिसे बैंडविड्थ या बिट दर (बिट प्रति सेकंड) कहते हैं।
सूचना की माप: हार्टले का सूत्र
मान लीजिए N बराबर संभावना वाले नतीजे हैं। हर हाँ/ना सवाल विकल्पों को आधा कर सकता है। इसलिए ज़रूरी सवालों की संख्या वह घात है जिसमें 2 की घात N के बराबर हो:
I = log₂ N बिट (हार्टले का सूत्र)
8 विकल्प: log₂ 8 = 3 बिट। 64 विकल्प: 6 बिट। अगर N, 2 की घात नहीं है तो उत्तर भिन्न आता है, जैसे पासे के लिए log₂ 6 ≈ 2.58 बिट, और पूरे हाँ/ना सवालों के लिए ऊपर गोल करते हैं।
k संकेतों का संदेश, N संकेतों की वर्णमाला से: कुल सूचना = k × log₂ N बिट।
शैनन की एन्ट्रॉपी: असमान संभावनाएँ
अगर नतीजे बराबर संभावना वाले नहीं हैं तो दुर्लभ नतीजा हमें ज़्यादा चौंकाता है। संभावना p वाले एक नतीजे की सूचना −log₂ p बिट है (p = 1/2 पर 1 बिट, p = 1/8 पर 3 बिट)। प्रति संकेत औसत सूचना, जिसे एन्ट्रॉपी कहते हैं:
H = −Σ p·log₂ p (शैनन का सूत्र)
संभावनाएँ 1/2, 1/4, 1/8, 1/8: H = 0.5·1 + 0.25·2 + 0.125·3 + 0.125·3 = 1.75 बिट। चार बराबर नतीजों पर H = 2 बिट, जो हार्टले के मान के बराबर है। बराबर संभावनाओं पर H सबसे ज़्यादा होता है। पक्का नतीजा (p = 1) हो तो H = 0।
यह क्यों ज़रूरी है: अगर H छोटा है तो संदेश को लगभग H बिट प्रति संकेत तक संपीड़ित किया जा सकता है।
करके देखिए: बीस सवाल
दोस्त से 1 से 64 के बीच कोई संख्या सोचने को कहिए। सिर्फ़ हाँ/ना सवालों से उसे ढूँढिए। क्या 6 सवालों में हो जाता है? (संकेत: हमेशा पूछिए 'क्या यह ऊपर के आधे में है?')। अब 1 से 100 की संख्याओं से कीजिए। ज़्यादा से ज़्यादा कितने सवाल चाहिए?
मुख्य सूत्र और परिभाषाएँ
- 1 बाइट = 8 बिट
- हार्टले: I = log₂ N बिट (N बराबर संभावना वाले नतीजे)
- N संकेतों की वर्णमाला से k संकेतों का संदेश: I = k · log₂ N
- एक नतीजे की सूचना: i = −log₂ p
- शैनन: H = −Σ pᵢ log₂ pᵢ बिट प्रति संकेत
- स्थानांतरण का समय = आँकड़ों की मात्रा ÷ बिट दर
हल किए गए उदाहरण
1. गेंद 64 डिब्बों में से एक में है। उसे ढूँढने के लिए कितने बिट सूचना चाहिए?
I = log₂ 64 = 6 बिट (6 हाँ/ना सवाल)।
2. संदेश में 32 अक्षरों की वर्णमाला से 20 अक्षर हैं। संदेश कितने बिट का है?
हर अक्षर log₂ 32 = 5 बिट देता है। कुल = 20 × 5 = 100 बिट।
3. 8-स्तर वाले ग्रे पिक्सल में कितने बिट होते हैं, और ऐसे पिक्सलों की 10 × 10 तस्वीर में?
एक पिक्सल: log₂ 8 = 3 बिट। तस्वीर: 100 × 3 = 300 बिट।
4. संभावनाएँ 1/2, 1/4, 1/8, 1/8 वाले स्रोत की एन्ट्रॉपी निकालिए।
H = ½·1 + ¼·2 + ⅛·3 + ⅛·3 = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 बिट।
5. संभावना 1/16 वाली घटना की सूचना निकालिए।
i = −log₂(1/16) = log₂ 16 = 4 बिट।
6. 2 Mbit/s के चैनल पर 10 MB की फ़ाइल भेजने में कितना समय लगेगा? (1 MB = 8 Mbit)
10 MB = 80 Mbit। समय = 80 ÷ 2 = 40 s।
7. सही पासे के एक फेंकने से कितनी सूचना मिलती है?
log₂ 6 ≈ 2.58 बिट।
आम गलतियाँ
- बिट और बाइट को गड़बड़ा देना। एक बाइट में 8 बिट होते हैं।
- नतीजे बराबर संभावना वाले न हों तब भी हार्टले का सूत्र लगाना। तब शैनन का सूत्र लगाइए।
- यह सोचना कि ज़्यादा डेटा हमेशा ज़्यादा सूचना है। दोहराया या अनुमान-योग्य डेटा कम सूचना जोड़ता है।
- −Σ p log₂ p में ऋण चिह्न भूल जाना। p < 1 पर log₂ p ऋणात्मक है, इसलिए ऋण चिह्न H को धनात्मक बनाता है।