Databricks Runtime 8.2 (EoS)

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性

Databricks 于 2021 年 4 月发布了此版本。

以下发行说明提供了由 Apache Spark 3.1.1 提供支持的 Databricks Runtime 8.2 的相关信息。

新增功能和改进

新的自动加载程序选项可简化架构演变

自动加载程序无需再指定架构输入即可在导入 JSON 数据时启动。 此外,自动加载程序可检测新列引入数据的操作并重启,这样就永远不会再次丢失数据。 当 JSON blob 列中出现意外的数据(例如不同类型的数据,以后可以选择使用半结构化数据访问 API 访问这些数据)时,自动加载程序还将提供“补救”措施。 请参阅在自动加载程序中配置架构推理和演变

查看 VACUUM 指标(公共预览版)

提交到 Delta 事务日志的 VACUUM 现包含有关已删除的文件和已清除的目录的信息。 请参阅审核信息使用 describe detail 查看 Delta Lake 表详细信息

轻松了解已克隆或已恢复的 Delta Lake 数据

Delta Lake CLONERESTORE 命令目前在完成时返回指标,以便你可以轻松了解这些操作克隆或恢复了多少数据。 请参阅克隆指标还原指标

调整 Delta 表中文件的大小,以满足工作负载需求

现在可以设置一个表属性,以指示 Delta Lake 通过常用的 MERGE 操作(例如,将更改数据更新插入到表中)选择适合于表的文件大小。 运行时还可以检测表何时为 MERGE 密集型,并自动调整文件大小。 若要进行更精细的优化,可以将目标大小设置为属性,然后所有数据布局优化操作(例如优化、优化写入和自动压缩)将尽力尝试生成该大小的文件。 请参阅配置 Delta Lake 以控制数据文件大小

使用更改数据馈送在 Delta 表中以增量方式引入更新和删除(公共预览版)

Delta 表的更改数据馈送表示不同版本的表之间的行级别更改。 启用后,运行时会记录有关表上每个写入操作的行级别更改的其他信息。 可以通过 SQL、DataFrame 和 DataStream 读取器查询这些更改。 源支持:

  • 合并、更新和删除的高效下游消耗。 获取已更新、插入或删除的行可极大地提高使用合并输出的下游作业的性能,因为现在无需处理整个文件并删除重复数据。
  • 在表示相同数据的两个不同表的副本之间保持同步。 一种常见的做法是维护同一个表的两个版本:一个是作为事实来源的窄表,另一个是包含其他数据的较宽的表。 可将更改从窄表有效地应用于较宽的表。

有关详细信息,请参阅在 Azure Databricks 上使用 Delta Lake 更改数据馈送

使用 SQL 运算符从 JSON 字符串中提取数据(正式版)

让你可以轻松地从 JSON 字符串中提取数据的 SQL 运算符(:::)现已正式发布。 请参阅查询 JSON 字符串

库升级

  • 升级了 Python 库:
    • koalas 已从 1.6.0 升级到 1.7.0。
  • 升级了 Java 库:
    • univocity-parsers 已从 2.9.0 升级到 2.9.1。

Apache Spark

Databricks Runtime 8.2 包括 Apache Spark 3.1.1。 此版本包括 Databricks Runtime 8.1 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:

  • [SPARK-34614] [SQL] ANSI 模式:将字符串强制转换为布尔值应在分析错误时引发异常
  • [SPARK-33794] [SQL] 在 ANSI 模式下,NextDay 表达式在收到无效输入时引发运行时 IllegalArgumentException
  • [SPARK-34833] [SQL] 处理所有位置的外部引用
  • [SPARK-34742] [SQL] ANSI 模式:如果输入超出范围,Abs 会引发异常
  • [SPARK-34833] [SQL] 对关联的子查询正确应用右填充
  • [SPARK-34719] [SQL] 正确解析列名重复的视图查询
  • [SPARK-34392] [SQL] 支持 DateTimeUtils 中的 ZoneOffset +h:mm。 getZoneId
  • [SPARK-34436] [SQL] DPP 支持 LIKE ANY/ALL 表达式
  • [SPARK-34497] [SQL] 修复内置 JDBC 连接提供程序以还原 JVM 安全性上下文更改
  • [SPARK-34543] [SQL] 在 v1 spark.sql.caseSensitive 中解析分区规范时遵循 SET LOCATION 配置
  • [SPARK-34550] [SQL] 将筛选器推送到 Hive 云存储期间跳过 InSet null 值
  • [SPARK-34531] [CORE] 删除 PrometheusServlet 中的实验性 API 标记
  • [SPARK-34515] [SQL] 如果 InSet 在 getPartitionsByFilter 期间包含 NULL 值,则修复 NPE
  • [SPARK-34490] 如果删除表,表可能解析为视图
  • [SPARK-34613] 修复视图不捕获禁用提示配置
  • [SPARK-34504] 避免不必要的视图解析并删除 performCheck 标记
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext 可能会因争用问题而挂起
  • [SPARK-34421] [SQL] 使用 CTE 在视图中解析临时函数和视图
  • [SPARK-34713] [SQL] 修复带有 ExtractValue 的 group by CreateStruct
  • [SPARK-34770] [SQL] 如果数据库不存在,InMemoryCatalog.tableExists 不应失败
  • [SPARK-34681] [SQL] 在不相等条件下在左侧进行构建时,修复完全外部无序哈希联接的 bug

维护更新

请参阅 Databricks Runtime 8.2 维护更新

系统环境

  • 操作系统:Ubuntu 18.04.5 LTS
  • Java:Zulu 8.52.0.23-CA-linux64(内部版本 1.8.0_282-b08)
  • Scala:2.12.10
  • Python:3.8.8(在 2021 年 5 月 26 日的维护更新中,更新自 3.8.6)
  • R:R 版本4.0.4 (2021-02-15)
  • Delta Lake 0.8.0

已安装的 Python 库

版本 版本 版本
appdirs 1.4.4 asn1crypto 1.4.0 回调 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
密码系统 3.1.1 骑行者 0.10.0 Cython 0.29.21
装饰师 4.4.2 distlib 0.3.1 docutils 0.15.2
入口点 0.3 文件锁 (filelock) 3.0.12 IDNA 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils(IPython通用工具) 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
Jupyter客户端 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
考拉 1.7.0 matplotlib 3.2.2 numpy 1.19.2
熊猫 1.1.3 帕尔索 0.7.0 替罪羊 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 果仁 20.2.4
plotly 4.14.3 prompt-toolkit 3.0.8 psycopg2 2.8.5
ptyprocess 0.6.0 pyarrow 1.0.1 Python代码解析器 2.20
Pygments 2.7.2 pyOpenSSL 19.1.0 pyparsing 2.4.7
PySocks 1.7.1 python-dateutil 2.8.1 pytz 2020.5
pyzmq 19.0.2 请求 2.24.0 正在重试 1.3.3
s3transfer 0.3.4 scikit-learn 0.23.2 scipy 1.5.2
seaborn 0.10.0 setuptools 50.3.1 6 1.15.0
statsmodels 0.12.0 threadpoolctl 2.1.0 龙卷风 6.0.4
Traitlets 5.0.5 urllib3 1.25.11 virtualenv 20.2.1
wcwidth 0.2.5 轮子 0.35.1

已安装的 R 库

R 库安装自 2020-11-02 的 Microsoft CRAN 快照。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 回移补丁 1.2.1
基础 4.0.4 base64enc 0.1-3 BH 1.72.0-3
4.0.4 bit64 4.0.5 团状物 1.2.1
启动 1.3-27 酿造/冲泡 1.0-6 活力 1.1.0
扫帚 0.7.2 callr 3.5.1 插入符号 6.0-86
cellranger 1.1.0 chron 2.3-56 班级 7.3-18
cli 2.2.0 剪辑器 0.7.1 集群 2.1.1
codetools 0.2-18 色彩空间 2.0-0 commonmark 1.7
编译器 4.0.4 配置 0.3 covr 3.5.1
cpp11 0.2.4 蜡笔 1.3.4 凭据 1.3.0
相声 1.1.0.1 卷曲 4.3 data.table 1.13.4
数据集 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
摘要 0.6.27 dplyr 1.0.2 DT 0.16
省略号 0.3.1 评估 0.14 fansi 0.4.1
颜色 2.0.3 快速映射 1.0.1 forcats 0.5.0
foreach 1.5.1 外国 0.8-81 锻造 0.2.0
文件系统 (if fs stands for "file system") 1.5.0 未来 1.21.0 泛 型 0.1.0
格尔特 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 全局变量 0.14.0
胶水 1.4.2 gower 0.2.2 图形 4.0.4
grDevices 4.0.4 “业务流程参数” 网格 4.0.4 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避风港 2.3.1
更高 0.8 赫姆斯 0.5.3 HTML工具 0.5.0
HTML小插件 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 迭代器 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
标记 0.4.2 稍后 1.1.0.1 格子 0.20-41
熔岩 1.6.8.1 lazyeval 0.2.2 生命周期 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 质量 7.3-53.1 矩阵 1.3-2
缓存 1.1.0 方法 4.0.4 mgcv 1.8-33
默剧 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
蒙塞尔 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016年8月至1月1日 openssl(开放SSL) 1.4.3 平行 4.0.4
并行 1.22.0 柱子 1.4.7 pkgbuild (软件包构建工具) 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 普洛格 0.2.0
普莱尔 1.8.6 赞美 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
进度 1.2.2 承诺 1.1.1 原型 (proto) 1.0.0
附注 (ps) 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 随机森林 (randomForest) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 食谱 0.1.15
重赛 1.0.1 rematch2 2.1.2 遥控器 2.2.0
可复现示例 0.3.0 reshape2 1.4.4 雷克斯 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 磅秤 1.1.1
selectr 0.4-2 会话信息 1.1.1 形状 1.4.5
光亮 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 空间 7.3-11 样 条 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 统计数据 4.0.4
统计数据4 4.0.4 字符串 1.5.3 stringr 1.4.0
生存 3.2-7 sys 3.4 tcltk 4.0.4
教学演示 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
时间日期 3043.102 tinytex 0.28 工具 4.0.4
usethis 2.0.0 utf8 1.1.4 实用工具 4.0.4
UUID(通用唯一识别码) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
瓦尔多 0.2.3 晶 须 0.4 无改动(具体含义和背景需要更多信息) 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws AWS Java SDK CloudFront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws AWS Java SDK 云搜索 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.11.655
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.11.655
com.amazonaws aws-java-sdk-弹性负载均衡 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws AWS Java SDK Glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws AWS Java 软件开发工具包 - KMS 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.11.655
com.amazonaws AWS-Java-SDK-机器学习 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws AWS Java SDK 存储网关 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws AWS Java SDK支持 1.11.655
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor(Jackson的CBOR数据格式) 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.10
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
公共文件上传 公共文件上传 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics 指标-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics 指标-JVM 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine 辉岩 4.30
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow 箭头内存核心 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow 箭头向量 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator 策展人与客户 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人食谱 2.7.1
org.apache.derby 德比 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop Hadoop客户端 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop 分布式文件系统 (Hadoop-HDFS) 2.7.4
org.apache.hadoop Hadoop MapReduce 客户端应用 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop Hadoop-YARN客户端 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive Hive 元数据存储器 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-垫片 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 孵化
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet Parquet 编码 1.10.1-databricks6
org.apache.parquet Parquet格式 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速度 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus 听众批注 0.5.0
org.apache.zookeeper 动物园管理员 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty 码头安全 9.4.36.v20210114
org.eclipse.jetty jetty-server(Jetty服务器) 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util(Jetty工具库) 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty Jetty 网页应用 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers Jersey容器Servlet核心 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb (Jersey 媒体库 - JAXB) 2.30
org.hibernate.validator Hibernate验证器 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap 垫片 0.9.0
.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework 春季测试 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel 机床工_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1
xmlenc xmlenc 0.52