常见问题

  1. Session 一直卡在 Starting 状态，如何排查？
  • 🔍 探索：检查 Driver 日志、YARN 队列资源、网络连通性
  1. PingJob 失败的常见原因有哪些？
  • 🔍 探索：RPC 连接失败、Driver 启动超时、资源不足
  1. Session 突然变成 Dead 状态，可能的原因？
  • 🔍 探索：Driver OOM、YARN 杀掉应用、网络断开
  1. 代码执行超时，如何定位问题？
  • 🔍 探索：Driver 日志、Spark UI、任务堆栈

性能问题

  1. 大量 Session 创建导致 Livy Server 压力大，如何优化？
  • 🔍 探索：Session 池化、限流、资源预分配
  1. RPC 通信成为瓶颈，如何优化？
  • 🔍 探索：增加 rpc.max.threads、优化序列化
  1. 恢复大量 Session 时 Server 启动慢，如何解决？
  • 🔍 探索：异步恢复、批量加载

数据问题

  1. Session 恢复后状态不一致，如何处理？
  • 🔍 探索：乐观锁机制、元数据清理
  1. ZooKeeper 中的 Session 数据损坏，如何修复？
  • 🔍 探索：手动清理、降级到文件存储

性能问题

  1. 大量 Session 创建导致 Livy Server 压力大，如何优化？
  • 🔍 探索：Session 池化、限流、资源预分配
  1. RPC 通信成为瓶颈，如何优化？
  • 🔍 探索：增加 rpc.max.threads、优化序列化
  1. 恢复大量 Session 时 Server 启动慢，如何解决？
  • 🔍 探索：异步恢复、批量加载

性能优化

  1. 如何减少 Session 启动时间？
  • 🔍 探索：预热容器、优化 Jar 加载、减少依赖
  1. 如何支持更大规模的并发 Session？
  • 🔍 探索：分布式 Livy 集群、Session 调度优化
  1. 如何优化 Statement 执行延迟？
  • 🔍 探索：批量执行、Pipeline 优化

功能扩展

  1. 如何添加新的 Interpreter 类型（如 SQL、Streaming）？
  • 🔍 探索：Kind 枚举扩展、Interpreter 接口实现
  1. 如何集成自定义认证方式？
  • 🔍 探索：AuthenticationProvider 扩展
  1. 如何支持 Spark on Kubernetes？
  • 🔍 探索：SparkApp 抽象，K8s API 集成
  1. 如何实现 Session 的自动扩缩容？
  • 🔍 探索：监控指标 + 动态资源分配

架构演进

  1. 如何将 Livy 改造为 Serverless 架构？
  • 🔍 探索：按需创建 Driver、快速启动机制
  1. 如何支持多租户隔离？
  • 🔍 探索：命名空间、资源配额、权限控制
  1. 如何实现 Session 的跨集群调度？
  • 🔍 探索：联邦集群、统一调度器