如果是serverless yarn方式，还是通过yarn UI查看作业日志。 监控建议通过prometheus exportor对接k8s集群内的prometheus，实现监控数据的同一采集。 异常诊断需要首先通过作业日志定位作业失败的原因，如果涉及平台管理组件（比如RM或者NM），需要查看RM或者NM Pod的日志...

企业要通过容器技术落地大数据混部，要保证稳定性这块，首先需要确保基础调度组件，如RM，NM的稳定性，同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制，如果因为RM/NM偶发异常导致作业失败，可以通过重试恢复。这里说的离线大数据作业都是批量式的，flink...

混合部署后，计算部分肯定是完全容器化，存储如hdfs还需要使用传统的hdfs，也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式，也可以考虑spark on k8s。如果有存量yarn作业需要迁移，可以考虑用yarn on k8s，这样便于存量作业平滑迁移，出现问题也可以回切，也...

需要几个关键能力，包括serverless yarn，大数据作业专用调度器，内核级别的资源优先级控制能力，计算节点资源超卖能力，裸机计算节点，underlay容器网络。

针对：大数据容器化部署如何实现资源隔离，与非容器相比的优势在什么地方？我是这么思考的，你可以看看是否有解答你的问题：通过宿主机的linux kernel实现优先级控制，确保资源使用优先级低于在线服务。与传统方式相比，容器化的大数据作业可以运行在在线应用使用的集群，利用在线集群...

大数据平台容器化部署后，原有大数据平台产品还需要吗？其实这个问题是很多中小金融机构会面临遇到的问题，我是这样思考的希望能对你有帮助。存量的传统大数据集群产品还会保留，和容器化的大数据平台并行，但是不会再进行扩容了。新增作业都上容器化的大数据平台，可以和在线应用共...

个人理解hdfs在容器外，和原来一样，只是原来是直接访问，现在是容器化后挂载存储卷

为了平衡成本和产出，确实存在改造容器云的体量考量。然而，并没有一个固定的物理节点数量作为是否适合改造容器云的明确界限，因为是否适合改造容器云更多地取决于特定的业务需求、技术架构、资源利用情况等因素。不过，以下是一些在考虑是否改造容器云时可以考虑的因素：业务规模...

云计算领域的建设主要集中在IaaS和PaaS，目标是降低数据中心成本的同时，为上层应用的创新、快速迭代和稳定运行提供有效支撑。传统的IaaS调度的是虚拟机或者物理机，粒度较大，相对传统的虚拟化技术，在资源使用率、灵活性和弹性方面提升度并不高。依托传统IaaS建设而成的PaaS，也会...

在容器化环境下，在安全性和隐私性保护上应加强以下方面的问题：（1）容器间的资源和数据隔离（2）容器内外的通信安全（3）容器镜像和运行时的恶意代码安全（4）数据加密和访问控制