2022信息理论与编码模拟测试

如果有两个信源X、Y,在事件X或Y产生的情况下,另一事件Y或X的产生还保留着平均不确定性或疑义度,这可以用()来表示。

A、条件熵

B、信息熵

C、联合熵

D、互信息熵


参考答案:A


设一离散无记忆信源的输出由四种不同的符号组成,它们出现的概率分别为1/2、1/4、1/8、1/8。

(1)此信源平均每个符号包含的信息熵多大?

(2)若信源每隔10毫秒发出一个符号,那么此信源平均每秒输出的信息量为多少?


参考答案:(1)此信源平均每个符号包含的信息熵为:

(2)若信源每隔10ms发出一个符号,则每秒能否发送100个符号,此信源平均每秒输出的信息量为175bps。


已知信源符号(x1,x2,x3,x4,x5,x6,x7)和其相对应的概率(0.40,0.20,0.17,0.12,0.06,0.03,0.02),对其进行huffman编码,其平均码长为()。

A.2.36(bit)

B.2.42(bit)

C.4.3(bit)

D.3.6(bit)


参考答案:A


信源x中有18个随机事件,即n=18。每一个随机事件的概率分别为:x1~x8=1/16;x9~x16=1/32;x17~x18=1/8,则信源x的熵为()。

A.5(bits)

B.3.5(bits)

C.2(bits)

D.4(bits)


参考答案:D


已知信源符号(x1,x2,x3,x4,x5,x6,x7)和其相对应的概率(0.55,0.15,0.10,0.10,0.07,0.02,0.01),对其进行huffman编码,其平均码长为()。

A.3.5(bit)

B.2.03(bit)

C.2.1(bit)

D.4(bit)


参考答案:B


1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。信息论的基础理论是 ,它属于狭义信息论。 2、信号是 的载体,消息是 的载体。3、某信源有五种符号,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0=e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。4、某离散无记忆信源X ,其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ?=?和12340.5122X x x x x w ?=?,则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面,一是 ,二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输进有关,而与过往输进无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件:一、 ; 二、 。9、若某信道矩阵为?010001 000001100,则该信道的信道容量C=_。 10、根据是否答应失真,信源编码可分为 和 。11、信源编码的概率匹配原则是:概率大的信源符号用 ,概率小的信源符号用 。(填短码或长码)12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。16、对于密码系统安全性的评价,通常分为 和 两种标准。17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径,包括无条件安全性、和 。 20、时间戳根据产生方式的不同分为两类:即 和 。二、选择题(每小题1分,共10分) 1、下列不属于消息的是( )。A. 文字B. 信号C. 图像D. 语言2、设有一个无记忆信源发出符号A 和B ,已知4341)(,)(=B p A p ,发出二重符号序列消息的信源,无记忆信源熵)(2X H 为( )。A. 0.81bit/二重符号B. 1.62bit/二重符号C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为( )。 A. log36bit B. log36bit C. log (11/36)bitD. log (11/36)bit4、 二进制通信系统使用符号0和1,由于存在失真,传输时会产生误码,用符号表示下列事件,x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ,则已知收到的符号,被告知发出的符号能得到的信息量是( )。A. H(X/Y)B. H(Y/X)C. H( X, Y)D. H(XY)5、一个随即变量x 的概率密度函数P(x)= x /2,V 20x ,则信源的相对熵为( )。A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质: ( )A 非负性B 完备性C 对称性D 确定性信息论与编码信息论与编码7、根据树图法构成规则, ( ) A 在树根上安排码字 B 在树枝上安排码字 C 在中间节点上安排码字 D 在终端节点上安排码字 8、下列组合中不属于即时码的是( )。A. 0,01,011B. 0,10,110C. 00,10,11D. 1,01,009、 已知某(6,3)线性分组码的生成矩阵?=011101110001111010G ,则不用计算就可判定出下列码中不是该码集里的码是( )。A. 000000B. 110001C. 011101D. 11111110、下列保密编码中属于现代密码体制的是( )A. 凯撒密码B. Vigenere 密码C. 韦维纳姆密码D. DES 加密算法三、简答题(四小题,共23分)1、请简述现代密码系统应当满足的条件。(4分)2、请简述连续信源最大熵定理的主要内容。(6分)3、请解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则的含义,并说明三者的关系。(5分) 答: 4、已知密钥为yes ,请利用多表代换密码中的Vigenere (维吉尼亚)密码原理分别对下列明文和密文进行编码和译码。明文:A Mathematical Theory of Communication ; 密文:G ee y hgaxgp (需给出码表或编译码过程,8分) 四、计算题(四小题,共32分)1、居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身信息论与编码高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?(5分) 2、设离散符号信源为121/43/4x x X P ?=?,试求:(1)信源的熵、熵的相对效率以及剩余度; (2)求二次扩展信源的概率空间及其信源熵。(10分) 3、已知6符号离散信源的出现概率为?321321161814121654321a a a a a a ,试写出Huffman 编码的码字并求其平均码长。(7分) 4、已知一个(5, 3)线性分组码C 的生成矩阵为:11001G 011010 111?=?, (1)求系统生成矩阵及校验矩阵;(2)列出C 的信息位与系统码字的映射关系; (3)求收到r =11101时的译码步骤与译码结果。(10分) 2021-2021年第2学期信息论与编码期末考试A 卷参考答案一、填空题(每空1分,共35分)1、 香农、香农信息论;2、 消息、信息;3、1、15/8;4、7/4、9/4;5、信源符号间的相关性、信源符号的统计不均匀性; 6、I(X;Y)=H(X)+H(Y)-H(XY);7、无记忆;8、某一时刻信源符号的输出只与此时刻信源状态有关,与之前的状态和输出符号无关;信源在t 时刻的状态由当前输出符号及t-1时刻信源的状态唯一确定;9、2bit/符号;10、无失真信源编码和限失真信源编码; 11、短码、长码;12、有效性、可靠性;13、前向纠错 、 反馈重发 、;14、3、1;15、2;16、理论保密性、实际保密性; 17、在加密和解密过程中,加、解密密钥相同或从一个轻易得出另一个的密码体制; 18、公钥体制、私钥体制;填单钥体制、双钥体制)或(对称加密体制、非对称加密体制)也可; 19、计算安全性、可证实安全性; 20、自建时间戳、具有法律效力的时间戳二、选择题(每小题1分,共10分)B B B AC BD A D D三、简答题(四小题,共23分)1、请简述现代密码系统应当满足的条件。(4分)答:一个安全的现代密码系统应当满足以下几点要求:(每小点1分) (1) 系统即使达不到理论上不可破译,也应当是实际上不可破译的。(2) 系统的保密性不依靠于对加密、解密算法和系统的保密,而仅仅依靠于密钥的保密性。、 (3) 加密、解密算法适用于所有密钥空间的元素。 (4) 加密、解密运算简单快捷,易于实现。


信源x中有14个随机事件,即n=14。每一个随机事件的概率分别为:x1~x12=1/16;x13~x14=1/8,则信源x的熵为()。

A.2.72(bits)

B.3.75(bits)

C.1.54(bits)

D.3.5(bits)


参考答案:B


信源X中有16个随机事件,即n=16。每一个随机事件的概率都相等,即P(x1)=Px2)= P(x3)=…=P(x8)=1/16,信源X的熵是(12)。

A.2

B.4

C.6

D.8


正确答案:B
解析:倌源X发出的xj(j=1,2,…n),共n个随机事件的自信息统计平均(求数学期望),即H(X)在信息论中称为信源X的“熵”(Entropy),它的含义是信源X发出任意一个随机变量的平均信息量。本题中,


离散信源输出4个不同符号,若各符号概率分别为1/2,1/4,1/8,1/8,则该信源的熵为()。

A.1.5bit/sign
B.1.875bit/sign
C.1.75bit/sign
D.1bit/sign

答案:C
解析:


离散信源输出5个不同符号,若各符号概率分别为1/2,1/4,1/8,1/16,1/16,则该信源的熵为()。

A.1.5bit/sign
B.1.875bit/sign
C.2bit/sign
D.1bit/sign

答案:B
解析:


设信源X包含4个不同离散消息,当且仅当X中各个消息出现的概率为()时,信源熵达到最大值,为(),此时各个消息的自信息量为()。


正确答案:1/4;2; 2


相关考题:

考题 某离散无记忆信源X,其符号个数为n,则当信源符号呈()分布情况下,信源熵取最大值()。正确答案:等概;log(n)

考题 离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。正确答案:正确

考题 一个随即变量x的概率密度函数P(x)=x/2,,则信源的相对熵为()。A、0.5bitB、0.72bitC、1bitD、1.44bit正确答案:C

考题 填空题某离散无记忆信源X,其符号个数为n,则当信源符号呈()分布情况下,信源熵取最大值()。正确答案: 等概,log(n)解析: 暂无解析

考题 信源X的概率分布为P(X)={1/2,1/3,1/6},信源Y的概率分布为P(Y)={1/3,1/2,1/6},则信源X和Y的熵相等。正确答案:正确

考题 填空题设信源X包含4个不同离散消息,当且仅当X中各个消息出现的概率为()时,信源熵达到最大值,为(),此时各个消息的自信息量为()。正确答案: 1/4,2, 2解析: 暂无解析

考题 当随即变量X和Y相互独立时,条件熵等于信源熵。正确答案:正确

考题 若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为()。正确答案:3

考题 设信道输入端的熵为H(X),输出端的熵为H(Y),该信道为无噪有损信道,则该信道的容量为()正确答案:Max H(Y)

考题 判断题离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。A对B错正确答案: 错解析: 暂无解析
最新考题