ਐਨਟ੍ਰੌਪੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ)

ਵਿਕੀਪੀਡੀਆ, ਇੱਕ ਅਜ਼ਾਦ ਗਿਆਨਕੋਸ਼ ਤੋਂ
Jump to navigation Jump to search

'

ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ 2 ਲੰਬੀਆਂ ਨਦੀਆਂ: ਦੋ ਜਾਇਜ ਸਿੱਕੇ ਦੇ ਟੌਸਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਨਿਕਲਣ ਵਾਲੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਸੰਖਿਆ ਦਾ ਲੌਗ-ਬੇਸ-2 ਹੁੰਦੀ ਹੈ; ਦੋ ਸਿੱਕਿਆੰ ਨਾਲ ਚਾਰ ਨਤੀਜੇ ਨਿਕਲਦੇ ਹਨ, ਅਤੇ ਐਨਟ੍ਰੌਪੀ 2 ਬਿੱਟ ਹੁੰਦੀ ਹੈ। ਆਮਤੌਰ ਤੇ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਸਾਰੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਔਸਤ ਜਾਣਕਾਰੀ ਹੁੰਦੀ ਹੈ।

ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਅੰਦਰ, ਸਿਸਟਮ ਇੱਕ ਟ੍ਰਾਂਸਮਿੱਟਰ, ਚੈਨਲ, ਅਤੇ ਰਿਸੀਵਰ ਰਾਹੀਂ ਮਾਡਲਬੱਧ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਟ੍ਰਾਂਸਮਿੱਟਰ ਅਜਿਹੇ ਸੰਦੇਸ਼ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਚੈਨਲ ਰਾਹੀਂ ਗੁਜ਼ਾਰ ਕੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਚੈਨਲ ਸੰਦੇਸ਼ ਨੂੰ ਕਿਸੇ ਤਰੀਕੇ ਸੋਧ ਦਿੰਦਾ ਹੈ। ਰਿਸੀਵਰ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦਾ ਯਤਨ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸੰਦੇਸ਼ ਭੇਜਿਆ ਗਿਆ ਸੀ। ਇਸ ਸੰਦ੍ਰਣ ਵਿੱਚ, ਐਨਟ੍ਰੌਪੀ (ਹੋਰ ਵਿਸ਼ੇਸ਼ਤੌਰ ਤੇ, ਸੈਨੋਨ ਐਨਟ੍ਰੌਪੀ) ਹਰੇਕ ਸੰਦੇਸ਼ (ਮੈਸਜ) ਵਿੱਚ ਰੱਖੀ ਜਾਣਕਾਰੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ) ਦਾ ਉਮੀਦ ਮੁੱਲ (ਔਸਤ) ਹੁੰਦੀ ਹੈ। ਜਾਣਕਾਰੀ ਦੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ ਰਾਹੀਂ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਡਲ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ।

ਇੱਕ ਹੋਰ ਜਿਆਦਾ ਤਕਨੀਕੀ ਸਮਝ ਵਿੱਚ, ਸੂਚਨਾ ਨੂੰ ਸੰਭਵ ਘਟਨਾਵਾਂ ਜਾਂ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੇ ਲੌਗਰਿਥਮ ਦੇ ਨੈਗਟਿਵ ਦੇ ਤੌਰ ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੇ ਕਾਰਨ ਹਨ (ਜੋ ਥੱਲੇ ਲਿਖੇ ਗਏ ਹਨ)। ਹਰੇਕ ਘਟਨਾ ਦੀ ਸੂਚਨਾ ਦੀ ਮਾਤਰਾ ਇੱਕ ਮਨਚਾਹਿਆ ਵੇਰੀਏਬਲ ਰਚਦੀ ਹੈ ਜਿਸਦਾ ਉਮੀਦ ਮੁੱਲ, ਜਾਂ ਔਸਤ, ਸੈਨੌਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਯੂਨਿਟਾਂ ਸ਼ੇਨੌਨ, ਨਾਟ, ਜਾਂ ਹ੍ਰਟਲੇ ਹਨ, ਜੋ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਲੌਗਰਿਥਮ ਦੇ ਬੇਸ ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਸ਼ੇਨੌਨ ਨੂੰ ਸਾਂਝੇ ਤੌਰ ਤੇ ਇੱਕ ਬਿਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦਾ ਲੌਗਰਿਥਮ ਐਨਟ੍ਰੌਪੀ ਦੇ ਇੱਕ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਫਾਇਦੇਮੰਦ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸੁਤੰਤਰ ਸੋਮਿਆਂ ਵਾਸਤੇ ਜੋੜਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਕਿਸੇ ਸਿੱਕੇ ਦੇ ਉਛਾਲਨ ਤੇ ਐਨਟ੍ਰੌਪੀ 1 ਸੈਨੋਨ ਹੁੰਦੀ ਹੈ, ਜਿੱਥੇ ਕਿ m ਗਣਿਤ ਦੇ ਉਛਾਲਾਂ ਲਈ ਇਹ m ਸ਼ੈਨੋਨ ਹੁੰਦੀ ਹੈ। ਸਰਵ ਸਧਾਰਨ ਤੌਰ ਤੇ, ਕਿਸੇ ਵੇਰੀਏਬਲ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ log2(n) ਬਿਟਾਂ ਦੀ ਜਰੂਰਤ ਪੈਂਦੀ ਹੈ ਜੋ n ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਲੈ ਸਕਦੇ ਹਨ ਜੇਕਰ n, 2 ਦੀ ਇੱਕ ਘਾਤ (ਪਾਵਰ) ਹੋਵੇ । ਜੇਕਰ ਇਹ ਮੁੱਲ ਇੱਕ-ਬਰਾਬਰ ਹੀ ਸੰਭਵ (ਪਰੋਬੇਬਲ) ਹੋਣ, ਤਾਂ ਐਨਟ੍ਰੌਪੀ (ਸ਼ੈਨੋਨਾਂ ਵਿੱਚ) ਬਿੱਟਾਂ ਦੀ ਸੰਖਿਆ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। ਬਿੱਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਸ਼ੈਨੋਨਾਂ ਦਰਮਿਆਨ ਸਮਾਨਤਾ ਸਿਰਫ ਉਦੋਂ ਲਾਗੂ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਿਕਲਣ ਵਾਲੇ ਨਤੀਜੇ ਇੱਕ ਸਮਾਨ ਹੀ ਪਰੋਬੇਬਲ (ਖੋਜਣਯੋਗ) ਹੋਣ । ਜੇਕਰ ਕੋਈ ਇੱਕ ਘਟਨਾ ਬਾਕੀ ਘਟਨਾਵਾਂ ਨਾਲ਼ੋਂ ਜਿਆਦਾ ਪ੍ਰੋਬੇਬਲ ਹੋਵੇ, ਤਾਂ ਉਸ ਘਟਨਾ ਦਾ ਨਿਰੀਖਣ ਘੱਟ ਸੂਚਨਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ ਵਿਰਲੀਆਂ ਘਟਨਾਵਾਂ ਨਿਰੀਖਣ ਹੋਣ ਤੇ ਜਿਆਦਾ ਸੂਚਨਾ ਮੁੱਹਈਆ ਕਰਵਾਉਂਦੀਆਂ ਹਨ। ਕਿਉਂਕਿ ਘੱਟ ਪਰੋਬੇਬਲ ਘਟਨਾਵਾਂ ਦਾ ਨਿਰੀਖਣ ਹੋਰ ਜਿਆਦਾ ਵਿਰਲਾ ਵਾਪਰਦਾ ਹੈ, ਇਸ ਕਾਰਨ ਸ਼ੁੱਧ ਅਸਰ ਇਹ ਪੈਂਦਾ ਹੈ ਕਿ ਗੈਰ-ਇੱਕਸਾਰ ਵੰਡੇ ਆੰਕੜੇ ਤੋਂ ਪ੍ਰਾਪਤ ਐਨਟ੍ਰੌਪੀ (ਜੋ ਔਸਤ ਸੂਚਨਾ ਦੇ ਤੌਰ ਤੇ ਮੰਨੀ ਜਾਂਦੀ ਹੈ), log2(n) ਤੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਨਤੀਜਾ ਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਐਨਟ੍ਰੌਪੀ ਜ਼ੀਰੋ ਰਹਿੰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਇਹਨਾਂ ਸਾਰੀਆਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇਨਬਿੰਨ ਕੁਆਂਟੀਫਾਈ ਕਰਦੀ ਹੈ ਜਦੋਂ ਸੋਨਮੇ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਗਿਆਤ (ਪਤਾ) ਹੁੰਦੀ ਹੈ। ਨਿਰੀਖਤ ਘਟਨਾਵਾਂ (ਸੰਦੇਸ਼ਾਂ) ਦਾ ਅਰਥ ਐਨਟ੍ਰੌਪੀ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਕੋਈ ਵਾਸਤਾ ਨਹੀਂ ਰੱਖਦਾ । ਐਨਟ੍ਰੌਪੀ ਸਿਰਫ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਘਟਨਾ ਨੂੰ ਨਿਰੀਖਣ ਕਰਨ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨੂੰ ਹੀ ਲੈਂਦੀ ਹੈ, ਇਸਲਈ ਇਸਦੇ ਦੁਆਰਾ ਸਾਂਭੀ ਗਈ ਸੂਚਨਾ ਪਿੱਛੇ ਛੁਪੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਬਾਬਤ ਸੂਚਨਾ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਖੁਦ ਘਟਨਾਵਾਂ ਦਾ ਅਰਥ ਹੀ ਹੁੰਦੀ ਹੈ।

ਆਮਤੌਰ ਤੇ, ਐਨਟ੍ਰੌਪੀ ਅਵਿਵਸਥਾ ਜਾਂ ਅਨਿਸ਼ਚਿਤਿਤਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਲਾਓਡੇ ਈ. ਸ਼ੈਨੋਨ ਵੱਲੋਂ 1948 ਵਿੱਚ ਅਪਣੇ ਪੇਪਰ "ਏ ਮੈਥੇਮੈਟੀਕਲ ਥਿਊਰੀ ਔਫ ਕਮਿਊਨੀਕੇਸ਼ਨ"[1] ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਿਸੇ ਸੂਚਨਾ ਸੋਮੇ ਦੀ ਹਾਨੀਹੀਣ ਐਨਕੋਡਿੰਗ (ਸੰਕਵੇ-ਬੱਧਤਾ) ਦੀ ਸਭ ਤੋਂ ਜਿਆਦਾ ਚੰਗੀ ਤਰਾਂ ਸੰਭਵ ਔਸਤ ਲੰਬਾਈ ਜਾਂ ਕੰਪ੍ਰੈਸ਼ਨ ਉੱਤੇ ਇੱਕ ਸ਼ੁੱਧ ਹੱਦ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀ ਹੈ। ਰੇਨਯੀ ਐਨਟ੍ਰੌਪੀ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਸਦਾ ਸਰਵ ਸਧਾਰਨ ਕਰਨ ਕਰਦੀ ਹੈ। ਵ

ਵਿਸ਼ਾ ਸੂਚੀ

ਜਾਣ-ਪਛਾਣ[ਸੋਧੋ]

ਐਨਟ੍ਰੌਪੀ, ਅਵਸਥਾ ਦੀ ਅਨਿਸ਼ਚਿਤਿਤਾ ਦਾ ਇੱਕ ਨਾਪ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਇਸਦੇ ਸਮਾਨ ਕਹੀਏ ਤਾਂ, ਅਵਸਥਾ ਦੀ ਔਸਤਨ ਸੂਚਨਾ ਸਮੱਗਰੀ ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਗਹਿਰੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕਿਸੇ ਰਾਜਨੀਤਕ ਵੋਟ ਦੀ ਉਦਾਹਰਨ ਲਓ । ਆਮਤੌਰ ਤੇ, ਅਜਿਹੀਆਂ ਵੋਟਾਂ ਵੋਟਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਪਹਿਲਾਂ ਨਾ ਪਤਾ ਹੋਣ ਕਾਰਨ ਹੁੰਦੀਆਂ ਹਨ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਸਾਪੇਖਿ ਤੌਰ ਤੇ ਅਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਸੱਚਮੁੱਚ ਵੋਟਾਂ ਦਾ ਕਾਰਜ ਕਰਨਾ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪੜਨਾ ਕੁੱਝ ਨਵੀਂ ਇਨਫਰਮੇਸ਼ਨ ਦਿੰਦਾ ਹੈ; ਇਹ ਸਿਰਫ ਇਹ ਕਹਿਣ ਦੇ ਵੱਖਰੇ ਤਰੀਕੇ ਹਨ ਕਿ ਵੋਟ ਨਤੀਜਿਆਂ ਦੀ ਇੱਕ ਪੂਰਵ ਐਨਟ੍ਰੌਪੀ ਜਿਆਦਾ ਹੁੰਦੀ ਹੈ। ਹੁਣ, ਓਸ ਮਾਮਲੇ ਤੇ ਵਿਚਾਰ ਕਰੋ ਕਿ ਪਹਿਲੀ ਚੋਣ ਤੋਂ ਕੁੱਝ ਦੇਰ ਬਾਦ ਫੇਰ ਤੋਂ ਓਹੀ ਵੋਟਾਂ ਪੁਆਈਆਂ ਜਾਂਦੀਆੰ ਹਨ। ਕਿਉਂਕਿ ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਹੁੰਦਾ ਹੈ, ਇਸਲਈ ਦੂਜੀ ਵਾਰ ਦੀਆਂ ਚੋਣਾਂ ਦਾ ਨਤੀਜਾ ਚੰਗੀ ਤਰਾਂ ਅਨੁਮਾਨਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਨਤੀਜਾ ਜਿਆਦਾ ਨਵੀਨ ਜਾਣਕਾਰੀ ਨਹੀਂ ਰੱਖਦੇ ਹੋਣਗੇ; ਇਸ ਮਾਮਲੇ ਵਿੱਚ, ਦੂਜੀ ਚੋਣ ਨਤੀਜੇ ਦੀ ਪੂਰਵ-ਐਨਟ੍ਰੌਪੀ ਪਹਿਲੀ ਤੋਂ ਸਾਪੇਖਿਕ ਤੌਰ ਤੇ ਘੱਟ ਹੋਵੇਗੀ।

ਹੁਣ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਉਦਾਹਰਨ ਲਓ । ਮੰਨ ਲਓ ਹੈੱਡ ਤੇ ਟੇਲ ਆਉਣ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਇੱਕ ਬਰਾਬਰ ਹੀ ਹੋਵੇ, ਤਾਂ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਐਨਟ੍ਰੌਪੀ ਵੱਧ ਤੋਂ ਵੱਧ ਜਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਅਜਿਹਾ ਇਸ ਕਾਰਨ ਹੁੰਦਾ ਹਰੈ ਕਿਉਂਕਿ ਵਕਤ ਤੋਂ ਅੱਗੇ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦਾ ਨਤੀਜਾ ਅਨੁਮਾਨਿਤ ਕਰਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ: ਅਸੀਂ ਵੱਧ ਤੋਂ ਵੱਧ ਇਹ ਕਰ ਸਕਦੇ ਹਾਂ ਕਿ ਇਹ ਅਨੁਮਾਨ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਸਿੱਕਾ ਟੌਸ ਕਰਨ ਤੇ ਹੈੱਡ ਆਏਗਾ, ਅਤੇ ਸਾਡਾ ਅਨੁਮਾਨ ½ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਸਹੀ ਰਹਿੰਦਾ ਹੈ। ਅਜਿਹਾ ਕੋਈ ਸਿੱਕੇ ਦਾ ਟੌਸ ਐਨਟ੍ਰੌਪੀ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਦੋ ਸੰਭਵ ਨਤੀਜੇ ਹੁੰਦੇ ਹਨ ਜੋ ਬਰਾਬਰ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਵਾਸਤਵਿਕ ਨਤੀਜੇ ਨੂੰ ਜਾਣਨਾ ਸੂਚਨਾ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ। ਇਸ ਦੇ ਵਿਰੁੱਧ ਤਰੀਕੇ ਵਿੱਚ, ਬਗੈਰ ਕਿਸੇ ਟੇਲ ਤੋਂ ਸਿਰਫ ਦੋਵੇਂ ਹੀ ਹੈੱਡਾਂ ਵਾਲੇ ਸਿੱਕੇ ਵਾਸਤੇ ਐਨਟ੍ਰੌਪੀ 0 ਹੁੰਦੀ ਹੈ ਕਿਉਂਕਿ ਹਮੇਸ਼ਾਂ ਹੀ ਸਿੱਕੇ ਦਾ ਪਾਸਾ ਹੈੱਡ ਹੀ ਦਿਖਾਏਗਾ, ਅਤੇ ਨਤੀਜਾ ਪੂਰੀ ਤਰਾਂ ਭਵਿੱਖ ਬਾਣੀ ਹੋ ਸਕਦਾ ਹੈ। ਇਸਦੇ ਤੁੱਲ, ਇੱਕ ਸਮਾਨ ਮੁੱਲਾਂ ਵਾਲੇ ਇੱਕ ਬਾਇਨਰੀ ਬਿੱਟ ਦੀ ਸ਼ੈਨੋਨ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਇਸੇਤਰਾਂ, ਸਮਾਨ-ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਵਾਲੇ ਇੱਕ ਟ੍ਰਿਟ ਵਿੱਚ ਸੂਚਨਾ ਦੇ (ਲੱਗਪਗ 1.58496) ਸ਼ੈਨਨ ਹੁੰਦੇ ਹਨ ਕਿਉਂਕਿ ਇਹ ਤਿੰਨ ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਰੱਖ ਸਕਦਾ ਹੈ।

ਪਰਿਭਾਸ਼ਾ[ਸੋਧੋ]

ਬੋਲਟਜ਼ਮਨ ਦੀ Η-ਥਿਊਰਮ, ਤੋਂ ਬਾਦ ਸ਼ੈਨਨ ਨੇ ਐਨਟ੍ਰੌਪੀ Η (ਅਨਿਰੰਤਰ ਮਨਚਾਹੇ ਅਸਥਿਰਾਂਕਾਂ X ਦਾ ਗਰੀਕ ਕੈਪੀਟਲ ਅੱਖਰ ਈਟਾ) ਜੋ ਸੰਭਵ ਮੁੱਲਾਂ {x1, ..., xn} ਵਾਲਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਪ੍ਰੋਬੇਬਿਲਟੀ ਮਾਸ ਫੰਕਸ਼ਨ P(X) ਨੂੰ ਇਸਤਰਾਂ ਦਰਸਾਇਆ:

ਉਦਾਹਰਨ[ਸੋਧੋ]

ਦਲੀਲ[ਸੋਧੋ]

ਪਹਿਲੂ[ਸੋਧੋ]

ਥਰਮੋਡਾਇਨਾਮਿਕ ਐਨਟ੍ਰੌਪੀ ਪ੍ਰਤਿ ਸਬੰਧ[ਸੋਧੋ]

ਸੂਚਨਾ ਸਮੱਗਰੀ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ[ਸੋਧੋ]

ਵਿਭਿੰਨਤਾ ਦੇ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ[ਸੋਧੋ]

ਡਾਟਾ ਕੰਪ੍ਰੈਸ਼ਨ[ਸੋਧੋ]

ਜਾਣਕਾਰੀ ਦੇ ਭੰਡਾਰੀਕਰਨ ਅਤੇ ਪ੍ਰਸਾਰ ਦੀ ਸੰਸਾਰ ਦੀ ਤਕਨੀਕੀ ਸਮਰਥਾ[ਸੋਧੋ]

ਸੂਚਨਾ ਸਮੱਗਰੀ ਦੇ ਤੌਰ ਤੇ ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਕਮੀਆਂ[ਸੋਧੋ]

ਕ੍ਰਿਪਟੋਗ੍ਰਾਫੀ ਅੰਦਰ ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਕਮੀਆਂ[ਸੋਧੋ]

ਇੱਕ ਮਾਰਕੋਵ ਪ੍ਰੋਸੈੱਸ ਦੇ ਤੌਰ ਤੇ ਡਾਟਾ[ਸੋਧੋ]

b-ਏਰੀ ਐਨਟ੍ਰੌਪੀ[ਸੋਧੋ]

ਐਫੀਸ਼ੈਂਸੀ[ਸੋਧੋ]

ਲੱਛਣਬੱਧਤਾ[ਸੋਧੋ]

ਨਿਰੰਤਰਤਾ[ਸੋਧੋ]

ਸਮਿੱਟਰੀ[ਸੋਧੋ]

ਉੱਚਤਮ[ਸੋਧੋ]

ਜੋੜ-ਬੱਧਤਾ[ਸੋਧੋ]

ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ[ਸੋਧੋ]

ਨਿਰੰਤਰ ਮਾਮਲੇ ਤੱਕ ਅਨਿਰੰਤਰ (ਡਿਸਕ੍ਰੀਟ) ਐਨਟ੍ਰੌਪੀ ਨੂੰ ਵਧਾਓਣਾ[ਸੋਧੋ]

ਡਿੱਫ੍ਰੈਂਸ਼ੀਅਲ ਐਨਟ੍ਰੌਪੀ[ਸੋਧੋ]

ਡਿਸਕ੍ਰੀਟ (ਅਨਿਰੰਤਰ) ਬਿੰਦੂਆਂ ਦੀ ਹੱਦਬੰਦੀ ਕਰਨ ਵਾਲੀ ਘਣਤਾ (ਡੈਂਸਟੀ)[ਸੋਧੋ]

ਸਾਪੇਖਿਕ (ਰਿਲੇਟਿਵ) ਐਨਟ੍ਰੌਪੀ[ਸੋਧੋ]

ਸੰਯੋਜਕਾਤਮਿਕਤਾ ਅੰਦਰ ਵਰਤੋਂ[ਸੋਧੋ]

ਲੂਮਿਸ-ਵਿਟਨੇ ਅਸਮਾਨਤਾ[ਸੋਧੋ]

ਬਾਇਨੌਮੀਅਲ ਗੁਣਾਂਕ (ਕੋਐਫੀਸ਼ੈਂਟ) ਪ੍ਰਤਿ ਸੰਖੇਪ ਅਨੁਮਾਨ[ਸੋਧੋ]

ਇਹ ਵੀ ਦੇਖੋ[ਸੋਧੋ]

ਹਵਾਲੇ[ਸੋਧੋ]

ਹੋਰ ਲਿਖਤਾਂ[ਸੋਧੋ]

ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਉੱਤੇ ਟੈਕਸਟਬੁਕਾਂ[ਸੋਧੋ]

ਬਾਹਰੀ ਲਿੰਕ[ਸੋਧੋ]

ਫਰਮਾ:Compression Methods

  1. Shannon, Claude E. (July–October 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x.  (PDF, archived from here)