数据工程师培训题库(四)

星环信息科技（上海）有限公司TDH数据平台认证工程师试题姓名：_______________分数：____________【说明】a)客观题30题，每题2分，总计60分b)主观题4题，每题10分，总计40分c)满分100分。【不定项选择题（每题2分共60分）】1、下列与HDFS有关的说法正确的是（）A．HDFSDataNode节点上的磁盘需要做RAID1，用来保证数据的可靠性B．HDFS可以在磁盘之间通过balance操作，平衡磁盘之间的负载情况C．HDFS建议DataNode之间的数据盘个数、容量大小不一致，以体现HDFS的负载均衡能力D．规划HDFS集群时，建议ActiveNameNode和StandbyNameNode分配在不同的机架上2、以下哪个服务作为HDFS高可靠协调服务的共享存储？（）A.ZooKeeperB.JournalNodesC.NameNodeD.ZKFailoverController3、在集群中配置HDFS的副本数为3，设置数据块大小为128M，此时我们上传一份64M的数据文件，该数据文件占用HDFS空间大小为（）A.64MB.128MC.384MD.192M4、在Yarn服务中，不包含以下哪种角色（）A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Contianer5、ResourceManager是YARN的主要组成部分，有关其功能描述不正确的是（）A.它直接将集群所拥有的资源按需分配给运行在YARN上的应用程序B.它负责将集群中的所有资源进行统一管理和分配C.它接受各个节点的资源汇报信息D.它把资源按照策略分配给各应用星环信息科技（上海）有限公司6、当前用户提交了一个wordcount词频统计的任务，最后任务执行失败，可能的原因有哪些（）A.当前集群中没有足够的资源，不足以满足当前wordcount任务的需求B.执行该任务的用户没有权限访问HDFS上的数据文件C.用户在执行任务之前在HDFS相应的目录下创建了提交任务时指定的输出目录D.以上原因都有可能7、以下关于外表和托管表描述正确的是（）A、外表的数据存储在本地，托管表的数据存储在hdfs上B、删除托管表只会删除Inceptor上的元数据不会删除数据文件，删除外表两者都会被删除C、删除外表只会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被删除D、删除托管表或外表，incepotr上的元数据和数据文件都会被删除8、SQL运行中如果出现maptask数据特别多，执行时间又很短时可以通过小文件合并来进行优化，以下是合并参数有（）A.SETngmr.partition.automerge=TRUE;B.SETngmr.partition.mergesize=n;C.SETngmr.partition.mergesize.mb=m;D.SETmapred.reduce.tasks=N;9、以下关于inceptor日志信息描述正确的有（）A.Inceptorserver日志存放于各节点的/var/log/inceptorsql[x]/hive-server.logB.可以通过inceptorserver4040查看SQL错误日志C.Excutor日志存放于excutor节点的/var/log/inceptorsql[x]/spark-excutor.logD．ExcutorGC日志存放于excutor节点的/var/log/inceptorsql[x]/spark-excutor.gc.log10、tableA有10G的数据，tableB有100G的数据，两个表通过共有的id列做关联查询name列，以下方式可以优化计算效率的是（）A.select/*+MAPJOIN(a)*/a.name,b.namefromtableAajointableBbona.id=b.idB.select/*+MAPJOIN(b)*/a.name,b.namefromtableAajointableBbona.id=b.idC.建表时将tableA和tableB根据id字段分相同数量的桶D.建表时将tableA和tableB根据name字段分相同数量的桶11、以下属于HMaster功能的是（）A．为RegionServer分配regionB．存储数据元信息C．对region进行compact操作D．管理用户对table的增删改查操作星环信息科技（上海）有限公司12、Hyperbase与Inceptor的关系，描述正确的是（）A．两者不可或缺，Inceptor保证Hyperbase的服务的正常运行B．两者没有任何关系C．Inceptor可以访问HyperbaseD．两者相辅相成13、下列创建全局索引的语句，正确的是（）A．add_index't1','index_name’,‘COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'B．add_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'C．add_fulltext_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'D．create_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'14、以下对流处理计算框架描述不正确的是（）A．SparkStreaming是基于微批（batch）对数据进行处理的B．ApacheStorm是基于时间（event）对数据进行处理的C．TranswarpStreamSQL可基于微批或事件对数据进行处理D．以上说法都不对15、某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是（）A.CREATESTREAMWINDOWtraffic_streamASSELECT*FROMoriginal_streamSTREAMw1AS(length'1'minuteslide'24'hour);B.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'1'minuteslide'24'hour);C.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'24'hourslide'1'minute);D.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamAS(length'24'secondslide'1'minute);16、Zookeeper服务描述正确的为（）A.Zookeeper中每一个server互为leader。B.Zookeeper中只有一个leader，并通过备份机制产生。C.Zookeeper中不存在leader,所有server共同提供服务。D.Zookeeper通过选举机制确定leader，有且仅有一个。星环信息科技（上海）有限公司17、通过Hue修改HDFS目录或文件的权限可以通过以下哪些方式实现（）A．Hdfs相应的权限B．通过Hue超级用户hue登录C．以hdfs用户登录D．以上都可以18、通过Oozie使用ssh，必须满足以下条件（）A．以root用户登录各个节点B．Oozie用户可以免密钥登录C．Oozie用户必须要有bash权限D.所访问必须是集群的节点19、有关使用sqoop抽取数据的原理的描述不正确的是（）A.sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B.sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C.sqoop任务的切分是根据split字段的（最大值-最小值）/map数D.sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、在使用sqoop连接关系型数据时，下面哪个命令可以查看关系型数据库中有哪些表？（）A.sqooplist-databases--usernameroot--password111111--connectjdbc:mysql://192.168.164.25:3306/B.sqooplist-databases--usernameroot-P--connectjdbc:mysql://192.168.164.25:3306/C.sqooplist-databases--usernameroot--password-filefile:/root/.pwd--connectjdbc:mysql://192.168.164.25:3306/D.sqooplist-tables--usernameroot--password111111--connectjdbc:mysql://192.168.164.25:3306/test星环信息科技（上海）有限公司21、要将采集的日志数据作为kafka的数据源，则flumesink需要设置为下列哪项参数（）A.hdfsB.kafkaC.org.apache.flume.sink.kafka.KafkaSinkD.{topicname}22、下列是关于flume和sqoop对比的描述，不正确的是（）A.flume主要用来采集日志而sqoop主要用来做数据迁移B.flume主要采集流式数据而sqoop主要用来迁移规范化数据C.flume和sqoop都是分布式处理任务D.flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据23、有关Elasticsearch描述有误的一项是（）A．它会利用多播形式发现节点。B．主节点(masternode)通过选举方式产生。C．主节点(masternode)进行集群的管理，只负责集群节点添加和删除。D．主节点会去读集群状态信息，必要的时候进行恢复工作。24、下面措施中，不能保证kafka数据可靠性的是（）A.kafka会将所有消息持久化到硬盘中保证其数据可靠性B.kafka通过TopicPartition设置Replication来保证其数据可靠性C.kafka通过设置消息重发机制保证其数据可靠性D.kafka无法保证数据可靠性25、TDH提供哪几种认证模式？（）A．所有服务使用简单认证模式——所有服务都无需认证即可互相访问B．所有服务都启用Kerberos认证，用户要提供Kerberosprincipal和密码（或者keytab）来访问各个服务C．所有服务都启用Kerberos同时Inceptor启用LDAP认证D．所有服务都启用LDAP认证26、开启LDAP后，应该使用哪个命令连接Inceptor（）A.transwarp-t-h$ip。B.beeline-ujdbc:hive2://$ip:10000-n$username-p$password。C.beeline-ujdbc:hive2://$ip:10000/default;principal=hive/node1@TDH。D.beeline-ujdbc:hive2://$ip:10000/default;principal=user1@TDH。星环信息科技（上海）有限公司27、Inceptorserver服务无法启动时，该如何查看日志是（）A．查看TDHmanager所在节点/var/log/inceptorsql*/目录下的hive-server2.log日志B．查看