大数据即席查询技术.pptx

百度大数据即席查询服务百度开放云即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划 大数据即席查询（Ad-Hoc Query）平台 PAAS：开箱即用，用户无需关心机器/集群的运维/细节 高性能/规模：裸机/优化/最大PB量级以上 低成本：多租户共享集群/按使用付费BigSQL 定位 数据格式：半结构化（CSV/JSON/Parquet/Protobuf等） 使用接口：易用/多样化（RestAPI/Console/CLI/JDBC） 语法集：兼容开源SparkSQL/HQL 按使用付费：按（Query复杂度+扫描数据量）计费 多用户协同：灵活的权限管理BigSQL 特点 面向“人”的查询 交互式（Interactive）： 查询具有较高时效性 即席（Ad-Hoc）： 查询模式相对不固定 数据没有（时间/成本）做过多预处理Ad-Hoc QueryAd-HocQueryOLAP数据密度弱（半）结构化高度结构化加工过程粗（浅）加工深度加工查询模式相对随机相对固定即席查询 vs 多维分析MPP/ImpalaSQLonHadoop/SparkSQL扩展性1000台以内/PB以下千台以上/PB以上查询延迟毫秒秒秒分钟架构复杂性中等复杂容错无有调度策略Gang/Transaction分批启停开销小/常驻进程大/现启动与存储结合程度紧密松散MPP/Shared-NothingBigSQLServiceWebServerTools/SDKBOSBigSQL 示意图UserQueryUserQueryStreamingBatch即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划REST API接入层（Http Server）SessionManagerSparkContextSessionWorkerQueryQuerySchedulerCompute & Storage ClusterSparkContextSessionWorkerQueryQuerySparkContextSessionWorkerQueryQuerySDKCLIToolsMetaStoreIAM账单监控StateStoreConsoleBigSQL 整体架构 易用性：各种形式的API 可用性：关键节点容错 安全：租户认证和鉴权、Quota限制 账单 监控BigSQL整体架构：接入层计算引擎（Spark）SessionWorkerSessionWorkerSessionWorkerSessionWorkerAPPExecutorExecutorAPPExecutorExecutorExecutor分布式缓存（CacheManager）存储引擎（DFS/Column Storage）APPExecutorAPPExecutorExecutorBigSQL整体架构：引擎层接入层即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划高性能ShuffleBigSQL 关键技术（一）高性能ShuffleBigSQL 关键技术（一）BigSQL 关键技术（一）数据缓存层BigSQL 关键技术（二）UserUser接入层计算引擎（Spark）Cache ManagerCache存储引擎（HDFS + Parquet）数据缓存策略l 按需缓存 Query运行时触发Cache miss，异步load到缓存l 数据预取 周期性Load相关Table/Partition到缓存 根据过去Query信息统计热点数据，提前Load到缓存典型案例：跨地域查询加速（提升至少一个数量级）BigSQL 关键技术（二）优化执行l 智能参数优化 利用Combine类InputFormat，减少MapTask数 根据上游输出，自动优化Reduce Partition数目l 调度优化 评估数据量，自动复用Application 或者 启用新的Applicationl 近似查询 长尾任务自动忽略，保证时效性BigSQL 关键技术（三）资源隔离/安全l 基于Cgroup/Namespace的Container隔离 CPU/Memory/FS Container本身的加固 网络的互通与隔离l JVM沙箱层的多种安全策略l 计算/存储框架层的安全认证和加密传输BigSQL 关键技术（四）即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划在Baidu内部的应用凤巢广告数据分析l 漏斗分析 分析广告被过滤的原因，各个维度特征等l 系统优化和问题定位 分析系统业务日志，发现可优化的指标和潜在问题日均扫描数据量：xx PB即席查询服务（BigSQL） BigSQL定位/特点 BigSQL架构 BigSQL关键技术 BigSQL在Baidu内部的应用 下一步计划l 持续投入技术研发 更智能的数据缓存层：细粒度/物化视图选取 实时更新 向量执行：提高CPU cache命中率 CBO：Cost-based OptimizerBigSQL 后续规划l 构建通用大数据处理平台 日志收集服务 数据变形/ETL服务 报表/多维分析 即席查询服务 批处理服务 预测服务BigSQL 后续规划DWTransformHDFSCollectOLAPStorageTransform特征库Transform多维分析ETL报表LogService即席查询批处理服务预测服务通用大数据处理平台演讲完毕，谢谢观看！。