ਐਨਟ੍ਰੌਪੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ)

ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ 2 ਲੰਬੀਆਂ ਨਦੀਆਂ: ਦੋ ਜਾਇਜ ਸਿੱਕੇ ਦੇ ਟੌਸਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਨਿਕਲਣ ਵਾਲੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਸੰਖਿਆ ਦਾ ਲੌਗ-ਬੇਸ-2 ਹੁੰਦੀ ਹੈ; ਦੋ ਸਿੱਕਿਆੰ ਨਾਲ ਚਾਰ ਨਤੀਜੇ ਨਿਕਲਦੇ ਹਨ, ਅਤੇ ਐਨਟ੍ਰੌਪੀ 2 ਬਿੱਟ ਹੁੰਦੀ ਹੈ। ਆਮਤੌਰ ਤੇ, ਇਨਫ੍ਰਮੇਸ਼ਨ ਐਨਟ੍ਰੌਪੀ ਸਾਰੇ ਸੰਭਵ ਨਤੀਜਿਆਂ ਦੀ ਔਸਤ ਜਾਣਕਾਰੀ ਹੁੰਦੀ ਹੈ।

ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਅੰਦਰ, ਸਿਸਟਮ ਇੱਕ ਟ੍ਰਾਂਸਮਿੱਟਰ, ਚੈਨਲ, ਅਤੇ ਰਿਸੀਵਰ ਰਾਹੀਂ ਮਾਡਲਬੱਧ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਟ੍ਰਾਂਸਮਿੱਟਰ ਅਜਿਹੇ ਸੰਦੇਸ਼ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਚੈਨਲ ਰਾਹੀਂ ਗੁਜ਼ਾਰ ਕੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਚੈਨਲ ਸੰਦੇਸ਼ ਨੂੰ ਕਿਸੇ ਤਰੀਕੇ ਸੋਧ ਦਿੰਦਾ ਹੈ। ਰਿਸੀਵਰ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦਾ ਯਤਨ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸੰਦੇਸ਼ ਭੇਜਿਆ ਗਿਆ ਸੀ। ਇਸ ਸੰਦ੍ਰਣ ਵਿੱਚ, ਐਨਟ੍ਰੌਪੀ (ਹੋਰ ਵਿਸ਼ੇਸ਼ਤੌਰ ਤੇ, ਸੈਨੋਨ ਐਨਟ੍ਰੌਪੀ) ਹਰੇਕ ਸੰਦੇਸ਼ (ਮੈਸਜ) ਵਿੱਚ ਰੱਖੀ ਜਾਣਕਾਰੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ) ਦਾ ਉਮੀਦ ਮੁੱਲ (ਔਸਤ) ਹੁੰਦੀ ਹੈ। ਜਾਣਕਾਰੀ ਦੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ ਰਾਹੀਂ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਡਲ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ।

ਇੱਕ ਹੋਰ ਜਿਆਦਾ ਤਕਨੀਕੀ ਸਮਝ ਵਿੱਚ, ਸੂਚਨਾ ਨੂੰ ਸੰਭਵ ਘਟਨਾਵਾਂ ਜਾਂ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੇ ਲੌਗਰਿਥਮ ਦੇ ਨੈਗਟਿਵ ਦੇ ਤੌਰ ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੇ ਕਾਰਨ ਹਨ (ਜੋ ਥੱਲੇ ਲਿਖੇ ਗਏ ਹਨ)। ਹਰੇਕ ਘਟਨਾ ਦੀ ਸੂਚਨਾ ਦੀ ਮਾਤਰਾ ਇੱਕ ਮਨਚਾਹਿਆ ਵੇਰੀਏਬਲ ਰਚਦੀ ਹੈ ਜਿਸਦਾ ਉਮੀਦ ਮੁੱਲ, ਜਾਂ ਔਸਤ, ਸੈਨੌਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਯੂਨਿਟਾਂ ਸ਼ੇਨੌਨ, ਨਾਟ, ਜਾਂ ਹ੍ਰਟਲੇ ਹਨ, ਜੋ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਲੌਗਰਿਥਮ ਦੇ ਬੇਸ ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਸ਼ੇਨੌਨ ਨੂੰ ਸਾਂਝੇ ਤੌਰ ਤੇ ਇੱਕ ਬਿਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।

ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦਾ ਲੌਗਰਿਥਮ ਐਨਟ੍ਰੌਪੀ ਦੇ ਇੱਕ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਫਾਇਦੇਮੰਦ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸੁਤੰਤਰ ਸੋਮਿਆਂ ਵਾਸਤੇ ਜੋੜਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਕਿਸੇ ਸਿੱਕੇ ਦੇ ਉਛਾਲਨ ਤੇ ਐਨਟ੍ਰੌਪੀ 1 ਸੈਨੋਨ ਹੁੰਦੀ ਹੈ, ਜਿੱਥੇ ਕਿ m ਗਣਿਤ ਦੇ ਉਛਾਲਾਂ ਲਈ ਇਹ m ਸ਼ੈਨੋਨ ਹੁੰਦੀ ਹੈ। ਸਰਵ ਸਧਾਰਨ ਤੌਰ ਤੇ, ਕਿਸੇ ਵੇਰੀਏਬਲ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ log₂(n) ਬਿਟਾਂ ਦੀ ਜਰੂਰਤ ਪੈਂਦੀ ਹੈ ਜੋ n ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਲੈ ਸਕਦੇ ਹਨ ਜੇਕਰ n, 2 ਦੀ ਇੱਕ ਘਾਤ (ਪਾਵਰ) ਹੋਵੇ। ਜੇਕਰ ਇਹ ਮੁੱਲ ਇੱਕ-ਬਰਾਬਰ ਹੀ ਸੰਭਵ (ਪਰੋਬੇਬਲ) ਹੋਣ, ਤਾਂ ਐਨਟ੍ਰੌਪੀ (ਸ਼ੈਨੋਨਾਂ ਵਿੱਚ) ਬਿੱਟਾਂ ਦੀ ਸੰਖਿਆ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। ਬਿੱਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਸ਼ੈਨੋਨਾਂ ਦਰਮਿਆਨ ਸਮਾਨਤਾ ਸਿਰਫ ਉਦੋਂ ਲਾਗੂ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਿਕਲਣ ਵਾਲੇ ਨਤੀਜੇ ਇੱਕ ਸਮਾਨ ਹੀ ਪਰੋਬੇਬਲ (ਖੋਜਣਯੋਗ) ਹੋਣ। ਜੇਕਰ ਕੋਈ ਇੱਕ ਘਟਨਾ ਬਾਕੀ ਘਟਨਾਵਾਂ ਨਾਲ਼ੋਂ ਜਿਆਦਾ ਪ੍ਰੋਬੇਬਲ ਹੋਵੇ, ਤਾਂ ਉਸ ਘਟਨਾ ਦਾ ਨਿਰੀਖਣ ਘੱਟ ਸੂਚਨਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ ਵਿਰਲੀਆਂ ਘਟਨਾਵਾਂ ਨਿਰੀਖਣ ਹੋਣ ਤੇ ਜਿਆਦਾ ਸੂਚਨਾ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀਆਂ ਹਨ। ਕਿਉਂਕਿ ਘੱਟ ਪਰੋਬੇਬਲ ਘਟਨਾਵਾਂ ਦਾ ਨਿਰੀਖਣ ਹੋਰ ਜਿਆਦਾ ਵਿਰਲਾ ਵਾਪਰਦਾ ਹੈ, ਇਸ ਕਾਰਨ ਸ਼ੁੱਧ ਅਸਰ ਇਹ ਪੈਂਦਾ ਹੈ ਕਿ ਗੈਰ-ਇੱਕਸਾਰ ਵੰਡੇ ਆੰਕੜੇ ਤੋਂ ਪ੍ਰਾਪਤ ਐਨਟ੍ਰੌਪੀ (ਜੋ ਔਸਤ ਸੂਚਨਾ ਦੇ ਤੌਰ ਤੇ ਮੰਨੀ ਜਾਂਦੀ ਹੈ), log₂(n) ਤੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਨਤੀਜਾ ਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਐਨਟ੍ਰੌਪੀ ਜ਼ੀਰੋ ਰਹਿੰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਇਹਨਾਂ ਸਾਰੀਆਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇਨਬਿੰਨ ਕੁਆਂਟੀਫਾਈ ਕਰਦੀ ਹੈ ਜਦੋਂ ਸੋਨਮੇ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਗਿਆਤ (ਪਤਾ) ਹੁੰਦੀ ਹੈ। ਨਿਰੀਖਤ ਘਟਨਾਵਾਂ (ਸੰਦੇਸ਼ਾਂ) ਦਾ ਅਰਥ ਐਨਟ੍ਰੌਪੀ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਕੋਈ ਵਾਸਤਾ ਨਹੀਂ ਰੱਖਦਾ। ਐਨਟ੍ਰੌਪੀ ਸਿਰਫ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਘਟਨਾ ਨੂੰ ਨਿਰੀਖਣ ਕਰਨ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨੂੰ ਹੀ ਲੈਂਦੀ ਹੈ, ਇਸਲਈ ਇਸਦੇ ਦੁਆਰਾ ਸਾਂਭੀ ਗਈ ਸੂਚਨਾ ਪਿੱਛੇ ਛੁਪੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਬਾਬਤ ਸੂਚਨਾ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਖੁਦ ਘਟਨਾਵਾਂ ਦਾ ਅਰਥ ਹੀ ਹੁੰਦੀ ਹੈ।

ਆਮਤੌਰ ਤੇ, ਐਨਟ੍ਰੌਪੀ ਅਵਿਵਸਥਾ ਜਾਂ ਅਨਿਸ਼ਚਿਤਿਤਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਲਾਓਡੇ ਈ. ਸ਼ੈਨੋਨ ਵੱਲੋਂ 1948 ਵਿੱਚ ਆਪਣੇ ਪੇਪਰ "ਏ ਮੈਥੇਮੈਟੀਕਲ ਥਿਊਰੀ ਔਫ ਕਮਿਊਨੀਕੇਸ਼ਨ" ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਿਸੇ ਸੂਚਨਾ ਸੋਮੇ ਦੀ ਹਾਨੀਹੀਣ ਐਨਕੋਡਿੰਗ (ਸੰਕਵੇ-ਬੱਧਤਾ) ਦੀ ਸਭ ਤੋਂ ਜਿਆਦਾ ਚੰਗੀ ਤਰਾਂ ਸੰਭਵ ਔਸਤ ਲੰਬਾਈ ਜਾਂ ਕੰਪ੍ਰੈਸ਼ਨ ਉੱਤੇ ਇੱਕ ਸ਼ੁੱਧ ਹੱਦ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀ ਹੈ। ਰੇਨਯੀ ਐਨਟ੍ਰੌਪੀ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਸਦਾ ਸਰਵ ਸਧਾਰਨ ਕਰਨ ਕਰਦੀ ਹੈ। ਵ

ਜਾਣ-ਪਛਾਣ

ਐਨਟ੍ਰੌਪੀ, ਅਵਸਥਾ ਦੀ ਅਨਿਸ਼ਚਿਤਿਤਾ ਦਾ ਇੱਕ ਨਾਪ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਇਸਦੇ ਸਮਾਨ ਕਹੀਏ ਤਾਂ, ਅਵਸਥਾ ਦੀ ਔਸਤਨ ਸੂਚਨਾ ਸਮੱਗਰੀ ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਗਹਿਰੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕਿਸੇ ਰਾਜਨੀਤਕ ਵੋਟ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਆਮਤੌਰ ਤੇ, ਅਜਿਹੀਆਂ ਵੋਟਾਂ ਵੋਟਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਪਹਿਲਾਂ ਨਾ ਪਤਾ ਹੋਣ ਕਾਰਨ ਹੁੰਦੀਆਂ ਹਨ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਸਾਪੇਖਿ ਤੌਰ ਤੇ ਅਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਸੱਚਮੁੱਚ ਵੋਟਾਂ ਦਾ ਕਾਰਜ ਕਰਨਾ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪੜਨਾ ਕੁੱਝ ਨਵੀਂ ਇਨਫਰਮੇਸ਼ਨ ਦਿੰਦਾ ਹੈ; ਇਹ ਸਿਰਫ ਇਹ ਕਹਿਣ ਦੇ ਵੱਖਰੇ ਤਰੀਕੇ ਹਨ ਕਿ ਵੋਟ ਨਤੀਜਿਆਂ ਦੀ ਇੱਕ ਪੂਰਵ ਐਨਟ੍ਰੌਪੀ ਜਿਆਦਾ ਹੁੰਦੀ ਹੈ। ਹੁਣ, ਓਸ ਮਾਮਲੇ ਤੇ ਵਿਚਾਰ ਕਰੋ ਕਿ ਪਹਿਲੀ ਚੋਣ ਤੋਂ ਕੁੱਝ ਦੇਰ ਬਾਦ ਫੇਰ ਤੋਂ ਓਹੀ ਵੋਟਾਂ ਪੁਆਈਆਂ ਜਾਂਦੀਆੰ ਹਨ। ਕਿਉਂਕਿ ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਹੁੰਦਾ ਹੈ, ਇਸਲਈ ਦੂਜੀ ਵਾਰ ਦੀਆਂ ਚੋਣਾਂ ਦਾ ਨਤੀਜਾ ਚੰਗੀ ਤਰਾਂ ਅਨੁਮਾਨਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਨਤੀਜਾ ਜਿਆਦਾ ਨਵੀਨ ਜਾਣਕਾਰੀ ਨਹੀਂ ਰੱਖਦੇ ਹੋਣਗੇ; ਇਸ ਮਾਮਲੇ ਵਿੱਚ, ਦੂਜੀ ਚੋਣ ਨਤੀਜੇ ਦੀ ਪੂਰਵ-ਐਨਟ੍ਰੌਪੀ ਪਹਿਲੀ ਤੋਂ ਸਾਪੇਖਿਕ ਤੌਰ ਤੇ ਘੱਟ ਹੋਵੇਗੀ।

ਹੁਣ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਮੰਨ ਲਓ ਹੈੱਡ ਤੇ ਟੇਲ ਆਉਣ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਇੱਕ ਬਰਾਬਰ ਹੀ ਹੋਵੇ, ਤਾਂ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਐਨਟ੍ਰੌਪੀ ਵੱਧ ਤੋਂ ਵੱਧ ਜਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਅਜਿਹਾ ਇਸ ਕਾਰਨ ਹੁੰਦਾ ਹਰੈ ਕਿਉਂਕਿ ਵਕਤ ਤੋਂ ਅੱਗੇ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦਾ ਨਤੀਜਾ ਅਨੁਮਾਨਿਤ ਕਰਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ: ਅਸੀਂ ਵੱਧ ਤੋਂ ਵੱਧ ਇਹ ਕਰ ਸਕਦੇ ਹਾਂ ਕਿ ਇਹ ਅਨੁਮਾਨ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਸਿੱਕਾ ਟੌਸ ਕਰਨ ਤੇ ਹੈੱਡ ਆਏਗਾ, ਅਤੇ ਸਾਡਾ ਅਨੁਮਾਨ ½ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਸਹੀ ਰਹਿੰਦਾ ਹੈ। ਅਜਿਹਾ ਕੋਈ ਸਿੱਕੇ ਦਾ ਟੌਸ ਐਨਟ੍ਰੌਪੀ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਦੋ ਸੰਭਵ ਨਤੀਜੇ ਹੁੰਦੇ ਹਨ ਜੋ ਬਰਾਬਰ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਵਾਸਤਵਿਕ ਨਤੀਜੇ ਨੂੰ ਜਾਣਨਾ ਸੂਚਨਾ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ। ਇਸ ਦੇ ਵਿਰੁੱਧ ਤਰੀਕੇ ਵਿੱਚ, ਬਗੈਰ ਕਿਸੇ ਟੇਲ ਤੋਂ ਸਿਰਫ ਦੋਵੇਂ ਹੀ ਹੈੱਡਾਂ ਵਾਲੇ ਸਿੱਕੇ ਵਾਸਤੇ ਐਨਟ੍ਰੌਪੀ 0 ਹੁੰਦੀ ਹੈ ਕਿਉਂਕਿ ਹਮੇਸ਼ਾ ਹੀ ਸਿੱਕੇ ਦਾ ਪਾਸਾ ਹੈੱਡ ਹੀ ਦਿਖਾਏਗਾ, ਅਤੇ ਨਤੀਜਾ ਪੂਰੀ ਤਰਾਂ ਭਵਿੱਖ ਬਾਣੀ ਹੋ ਸਕਦਾ ਹੈ। ਇਸਦੇ ਤੁੱਲ, ਇੱਕ ਸਮਾਨ ਮੁੱਲਾਂ ਵਾਲੇ ਇੱਕ ਬਾਇਨਰੀ ਬਿੱਟ ਦੀ $\log _{2}2=1$ ਸ਼ੈਨੋਨ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਇਸੇਤਰਾਂ, ਸਮਾਨ-ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਵਾਲੇ ਇੱਕ ਟ੍ਰਿਟ ਵਿੱਚ ਸੂਚਨਾ ਦੇ $\log _{2}3$ (ਲੱਗਪਗ 1.58496) ਸ਼ੈਨਨ ਹੁੰਦੇ ਹਨ ਕਿਉਂਕਿ ਇਹ ਤਿੰਨ ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਰੱਖ ਸਕਦਾ ਹੈ।

ਪਰਿਭਾਸ਼ਾ

ਬੋਲਟਜ਼ਮਨ ਦੀ Η-ਥਿਊਰਮ, ਤੋਂ ਬਾਦ ਸ਼ੈਨਨ ਨੇ ਐਨਟ੍ਰੌਪੀ Η (ਅਨਿਰੰਤਰ ਮਨਚਾਹੇ ਅਸਥਿਰਾਂਕਾਂ X ਦਾ ਗਰੀਕ ਕੈਪੀਟਲ ਅੱਖਰ ਈਟਾ) ਜੋ ਸੰਭਵ ਮੁੱਲਾਂ {x₁, ..., x_n} ਵਾਲਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਪ੍ਰੋਬੇਬਿਲਟੀ ਮਾਸ ਫੰਕਸ਼ਨ P(X) ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਦਰਸਾਇਆ:

$\mathrm {H} (X)=\mathrm {E} [\mathrm {I} (X)]=\mathrm {E} [-\ln(\mathrm {P} (X))].$

ਬਾਹਰੀ ਲਿੰਕ

• Hazewinkel, Michiel, ed. (2001), "Entropy", ਗਣਿਤ ਦਾ ਵਿਸ਼ਵਕੋਸ਼, ਸਪਰਿੰਗਰ, ISBN 978-1-55608-010-4
• Introduction to entropy and information on Principia Cybernetica Web
• Entropy an interdisciplinary journal on all aspect of the entropy concept. Open access.
• Description of information entropy from "Tools for Thought" by Howard Rheingold Archived 15 May 2011 at the Wayback Machine.
• A java applet representing Shannon's Experiment to Calculate the Entropy of English
• Slides on information gain and entropy Archived 7 February 2019 at the Wayback Machine.
• An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science – a wikibook on the interpretation of the concept of entropy.
• A Light Discussion and Derivation of Entropy
• Network Event Detection With Entropy Measures, Dr. Raimund Eimann, University of Auckland, PDF; 5993 kB – a PhD thesis demonstrating how entropy measures may be used in network anomaly detection.
• Rosetta Code repository of implementations of Shannon entropy in different programming languages.
• "Information Theory for Intelligent People" Archived 13 June 2020 at the Wayback Machine.. Short introduction to the axioms of information theory, entropy, mutual information, Kullback–Liebler divergence, and Jensen–Shannon distance.