信息论为什么是正确的?我认为数学或者科学必须有一个坚实的基础,比如说欧几里得的《几何原本》的基础就是二十多条公理,这些公

信息论与编码主要分两部分,前几章主要讲信息方面的,后几章讲编码方面的.由信源,信道到信宿,讲信息符号的传播.为了传播的安全性,对其进行编码加密等.我们刚学完这门课,不是很难.祝你天天好成绩.

R(D)就是在满足保真度准则下,实验信道输入与输出之间的最小平均互信息.
其实就是说是通过这个来确定信道的.

广义信息论

一共8个许用码字,显然信息位是3位,校验比特6-3=3位.
其实你给的是系统码,因为这8个码字中,后三位分别是：
000 111 001 110 011 100 010 101,正好是0到7的二进制数,那就简单了.
生成矩阵G只要把100 010 001的码字挑出来,放在一起组成的就是生成矩阵.
G=
101100
110010
011001
你可以试一下,比如信息位是[011],那编码出来就是：
[011]*G=101011,显然是对的.
校验矩阵么就是单位阵加上G的左半边的转置
H=
100110
010011
001101

证明：
∵传递矩阵每一列有且仅有一个非零元素
∴表明每个输出符号Y
仅与一个输入符号Z对应
则
P(Z|Y)=1
∴损失熵
H(Z|Y)=0
由定义知是无损信道.
反之,以上每步均可逆.

H(X|Y)等于H(Y|X)吗,不一定,H(X|Y)=H(X)-I(X;Y),H(Y|X)=H(Y)-I(X;Y)
H(X,Y)等于H(Y,X),H(X,Y)=H(Y,X)=H(X)+H(Y)-I(X;Y)
I(X;Y) 等于I(Y;X)
I(X;Y|Z)等于I(Y;X|Z),表示Z已知情况的下的互信息量

熵是描述系统混乱的量,熵越大说明系统越混乱,携带的信息就越少,熵越小说明系统越有序,携带的信息越多.你要现确定系统,再来描述.你的例子,可以这样理解,同样大的硬盘,熵越大什么坏了的硬盘越多,他可以承载的信息越少,熵越小意味着坏掉的硬盘越少,可以承载的信息量越大.

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科.信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容.信息论还研究语义信息、有效信息和模糊信息等方面的问题.信息论有狭义和广义之分.狭义信息论即申农早期的研究成果,它以编码理论为中心,主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等.广义信息论又称信息科学,主要研究以计算机处理为中心的信息处理的基本理论,包括评议、文字的处理、图像识别、学习理论及其各种应用.广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性,它是一种物质系统的特性以一定形式在另一种物质系统中的再现.广义信息论包括了狭义信息论的内容,但其研究范围却比通讯领域广泛得多,是狭义
信息论在各个领域的应用和推广,因此,它的规律也更一般化,适用于各个领域,所以它是一门横断学科.广义信息论,人们也称它为信息科学.
信息和控制是信息科学的基础和核心.70年代以来,电视、数据通信、遥感和生物医学工程的发展,向信息科学提出大量的研究课题,如信息的压缩、增强、恢复等图像处理和传输技术,信息特征的抽取、分类和识别的模式、识别理论和方法,出现了实用的图像处理和模式识别系统.

对数的换算关系：log(a)b=lnb/lna
其中log(a)表示以a为底的对数,所以log(2)[p(xi)]=ln[p(xi)]/ln2
也即-ln[p(xi)]=ln2 *[- log(2)[p(xi)] ]

是的
信息量、信息熵可以衡量事件或信源信息的“多少”；至于你说的定理,那要具体看是什么定理了,信息论这门学科中有许多定理.

关于I(X;Y),它是表示一个随机变量Y给出的关于另一个随机变量X的信息量.可能是你们老师没有说清楚,它的物理意义是：信道两端有两个随机变量X和Y,由Y提取到得关于X的信息量,并非损失的信息量.
这里不是指H(YlX),H(YlX)是不能用观察者的立足点来解释的（这个你从条件熵的定义想想就知道了）.你说的应该是I(X;Y).这就是信道两端以谁为“信源”,在哪边“接收”的问题了（也就是你所说的观测点）.

第一问见图片.
第二问：
二元对称信道的信道容量为 C=1-H(p)=1-(-0.98log0.98-0.02log0.02)=0.8586 bit/symbol.
信源（消息序列）的信息量为 14000 symbol * H(1/2) = 14000 bit ；若10秒内传输这个消息序列,则每秒需要传输的符号数为 14000bit / 10s =1400 bit/s ； 则输入信道的数据速率为 R=1400 bit/s / 1500 symbol/s =0.9333 bit/symbol,则 R>C,根据信道编码定理 （香农第二定理）,消息不能无失真的传输.

信息论是由美国数学家香农创立的,它是用概率论和数理统计方法,从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学.信息就是指消息中所包含的新内容与新知识,是用来减少和消除人们对于事物认识的不确定性.信息是一切系统保持一定结构、实现其功能的基础.狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论.广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论.信息论认为,系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的.信息论能够揭示人类认识活动产生飞跃的实质,有助于探索与研究人们的思维规律和推动与进化人们的思维活动.

概率论与数理统计 -> 离散数学 -> 信息论与编码

信息科学是指以信息为主要研究对象,以信息的运动规律和应用方法为主要研究内容,以计算机等技术为主要研究工具,以扩展人类的信息功能为主要目标的一门新兴的综合性学科.信息科学由信息论、控制论、计算机科学、仿生学...

辞海是：1音讯2通信系统传输和处理的对象,泛指消息和信号的具体内容和意义． 大百科的我不知道了!香农说：信息是用来消除不确定的东西． 维钠说：信息就是信息,不是物质,也不是能量． 钟义信说：从本质上说,信息技术...

D 又译作 香农

Log2(13)越等于4次.

应用回归分析、矩阵分析、模糊数学都是物理的数学基础方法,前两个相对应用更多
而对于量子物理,显然矩阵应用更多,薛定谔和海森堡分别采用的就是波函数和矩阵的方式来描述
信息论与密码更应该算是物理的一个方面,而现在的量子密码学、量子信息学是密码学、信息学在量子物理引出的交叉学科,也是现今热门的内容