通过

Databricks Runtime 15.1 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.1 的相关信息。

Databricks 于 2024 年 4 月发布了此版本。

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。

中断性变更

对 Databricks Runtime 15.0 和用于机器学习的 Databricks Runtime 15.0 的支持将于 2024 年 5 月 31 日结束，因为 15.0 中 pandas 库从 1.5.3 升级到 2.0.3 导致多个 Apache Spark API 发生中断性变更。 有关中断性变更的详细信息，请参阅 pandas Python 库降级至 1.5.3。 为了解决这种不兼容性的问题，Databricks 发布了 Databricks Runtime 15.1 和用于机器学习的 Databricks Runtime 15.1。 这些版本支持的功能与 15.0 版本相同，但 pandas 版本降级至 1.5.3。

使用 Databricks Runtime 15.0 版本的任何现有群集或作业会继续正常运行，但不会收到产品或安全更新。 你再也不能在 Databricks UI 中配置使用 Databricks Runtime 15.0 或 Databricks Runtime 15.0 ML 的新计算。 如果你不使用需要 pandas 2.0+ 的功能或 API，Databricks 建议你将这些工作负荷切换到 Databricks Runtime 15.1。

如果你使用的是仅在 pandas 2.0+ 中提供的功能或 API，并且不使用任何受此版本影响的功能，Databricks 建议你切换到 Databricks Runtime 15.1 并使用群集或笔记本范围的库升级默认 pandas 包。 例如，若要升级 Databricks 笔记本中的 pandas 库，请使用以下命令：

%pip install pandas==2.0.3

pandas Python 库降级至 1.5.3

在此版本中，pandas 库从版本 2.0.3 降级至 1.5.3。 之所以需要该降级，是因为 2.0.3 版 pandas 中的不兼容导致 Spark 函数上的某个 pandas API 出现错误。 下面列出了 2.0.3 版 pandas 影响的函数：

  • pyspark.date_range：缺少 closed 参数，导致现有代码调用此函数时出错。
  • 具有 GroupBy 列的 MultiIndex 的功能已更改，导致意外行为。
  • datetime 的某些 DatetimeIndex 属性（例如 day、month、year 等）返回 int32 数据类型，而不是 int64 数据类型。

PySpark spark.sql() 函数现在对无效的参数类型会失败

在 Databricks Runtime 15.1 及更高版本中，传递给 args 函数的命名参数或位置参数的 spark.sql() 参数必须是字典或列表。 如果传递任何其他对象类型，将引发以下错误：PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

在 DBFS 根目录中存储库的功能已弃用，默认处于禁用状态

为了提高 Azure Databricks 工作区中库的安全性，从 Databricks Runtime 15.1 开始，在 DBFS 根中存储库文件的功能被弃用，默认处于禁用状态。 Databricks 建议将所有库（包括 Python 库、JAR 文件和 Spark 连接器）上传到工作区文件、Unity Catalog 卷或使用包存储库。 请参阅有关上传库的建议。

若要重新启用在 DBFS 根目录中存储库，请设置以下 Spark 配置参数：spark.databricks.driver.dbfsLibraryInstallationAllowed true。

默认 Python 版本从 3.10 升级到 3.11

使用 Databricks Runtime 15.1 时，默认 Python 版本为 3.11.0。 有关升级后的 Python 库的列表，请参阅库升级。

JDK 11 已删除

如之前公告的那样，JDK 11 已从 Databricks Runtime 15.1 及更高版本中移除。 Databricks 建议在升级到 Databricks Runtime 15.1 及更高版本时升级到 JDK 17。 请参阅 Databricks SDK for Java。

Python REPL 现在正常终止

使用 Databricks Runtime 15.1，笔记本的 Python REPL 进程现在可以在退出时正常终止。 这会导致遵循任何 atexit 挂钩。 例如，在具有多个 Python 笔记本任务的工作流中，在第一个任务中注册的 atexit 挂钩在第二个 Python 笔记本任务运行之前执行。

新增功能和改进

WHERE 子句现支持 *（星号）子句

现可在 * 子句中使用星号 (WHERE) 子句以引用 SELECT 列表中的所有列。 例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

spark.sql.json.enablePartialResults 配置现在默认启用

Spark 配置 spark.sql.json.enablePartialResults 现在默认启用，允许 JSON 分析程序正确处理复杂类型（如结构、映射和数组）的分析错误，而无需删除剩余字段。 此更改修复了使用列修剪的 JSON 数据源的一致性问题。

群集库现在支持 requirements.txt 文件

现在，可以使用存储在工作区文件或 Unity Catalog 卷中的 requirements.txt 文件安装群集库。 在 专用 和 标准 访问模式群集中 requirements.txt ，该文件可以引用其他文件。 在无隔离共享访问模式群集中，仅支持 PyPI 包。 请参阅计算范围的库。

Databricks CLI 现在可在 Web 终端中使用

现在，可以从笔记本中的 Web 终端使用 Databricks CLI。 笔记本必须附加到 专用 或 无隔离共享 访问模式中的群集。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。

将默认 Python 库添加到群集配置

在 Databricks Runtime 15.1 及更高版本中，可以在配置群集或定义群集策略时为群集和笔记本范围的库安装配置全局 pip index-url 和 extra-index-url 参数。 要执行此操作，请设置环境变量 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。

标准群集上可用的 Web 终端

在 Databricks Runtime 15.1 及更高版本中，可以在具有 标准 访问模式的群集上使用 Web 终端。

已弃用凭据直通和 Hive 元存储表访问控制

凭据直通和 Hive 元存储表访问控制是旧数据治理模型。 升级到 Unity Catalog 可提供一个集中位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity Catalog？。

在即将推出的 DBR 版本中，将移除对凭据直通和 Hive 元存储表访问控制的支持。

库升级

  • 升级了 Python 库：
    • black 从 22.6.0 到 23.3.0
    • boto3 从 1.24.28 到 1.34.39
    • botocore 从 1.27.96 到 1.34.39
    • certifi 从 2022.12.7 到 2023.7.22
    • cryptography 从 39.0.1 到 41.0.3
    • databricks-sdk 从 0.1.6 升级到 0.20.0
    • distlib 从 0.3.7 到 0.3.8
    • googleapis-common-protos 从 1.62.0 升级到 1.63.0
    • grpcio 从 1.48.2 到 1.60.0
    • grpcio-status 从 1.48.1 到 1.60.0
    • importlib-metadata 从 4.6.4 到 6.0.0
    • ipykernel 从 6.25.0 到 6.25.1
    • ipython 从 8.14.0 到 8.15.0
    • ipywidgets 从 7.7.2 到 8.0.4
    • jupyter_core 从 5.2.0 到 5.3.0
    • jupyterlab-widgets 从 1.0.0 到 3.0.5
    • matplotlib 从 3.7.0 到 3.7.2
    • pip 从 22.3.1 到 23.2.1
    • platformdirs 从 2.5.2 到 3.10.0
    • protobuf 从 4.24.0 到 4.24.1
    • pyarrow 从 8.0.0 到 14.0.1
    • Pygments 从 2.11.2 到 2.15.1
    • pyodbc 从 4.0.32 到 4.0.38
    • requests 从 2.28.1 到 2.31.0
    • s3transfer 从 0.6.2 到 0.10.0
    • scikit-learn 从 1.1.1 到 1.3.0
    • scipy 从 1.10.0 到 1.11.1
    • setuptools 从 65.6.3 到 68.0.0
    • statsmodels 从 0.13.5 到 0.14.0
    • tenacity 从 8.1.0 到 8.2.2
    • tornado 从 6.1 到 6.3.2
    • typing_extensions 从 4.4.0 到 4.7.1
    • urllib3 从 1.26.14 到 1.26.16
    • virtualenv 从 20.16.7 到 20.24.2
    • widgetsnbextension 从 3.6.1 到 4.0.5
    • zipp 从 1.0.0 到 3.11.0
  • 升级了 R 库：
    • arrow 从 12.0.1 到 14.0.0.2
    • askpass 从 1.1 到 1.2.0
    • base 从 4.3.1 到 4.3.2
    • brew 从 1.0-8 到 1.0-10
    • brio 从 1.1.3 到 1.1.4
    • bslib 从 0.5.0 到 0.6.1
    • cli 从 3.6.1 到 3.6.2
    • commonmark 从 1.9.0 到 1.9.1
    • compiler 从 4.3.1 到 4.3.2
    • config 从 0.3.1 到 0.3.2
    • cpp11 从 0.4.4 到 0.4.7
    • credentials 从 1.3.2 到 2.0.1
    • curl 从 5.0.1 到 5.2.0
    • data.table 从 1.14.8 到 1.15.0
    • datasets 从 4.3.1 到 4.3.2
    • DBI 从 1.1.3 到 1.2.1
    • dbplyr 从 2.3.3 到 2.4.0
    • desc 从 1.4.2 到 1.4.3
    • digest 从 0.6.33 到 0.6.34
    • dplyr 从 1.1.2 到 1.1.4
    • e1071 从 1.7-13 到 1.7-14
    • evaluate 从 0.21 到 0.23
    • fansi 从 1.0.4 到 1.0.6
    • fontawesome 从 0.5.1 到 0.5.2
    • fs 从 1.6.2 到 1.6.3
    • future 从 1.33.0 到 1.33.1
    • future.apply 从 1.11.0 到 1.11.1
    • gargle 从 1.5.1 到 1.5.2
    • gert 从 1.9.2 到 2.0.1
    • ggplot2 从 3.4.2 到 3.4.4
    • glmnet 从 4.1-7 到 4.1-8
    • glue 从 1.6.2 到 1.7.0
    • graphics 从 4.3.1 到 4.3.2
    • grDevices 从 4.3.1 到 4.3.2
    • grid 从 4.3.1 到 4.3.2
    • gtable 从 0.3.3 到 0.3.4
    • hardhat 从 1.3.0 到 1.3.1
    • haven 从 2.5.3 到 2.5.4
    • htmltools 从 0.5.5 到 0.5.7
    • htmlwidgets 从 1.6.2 到 1.6.4
    • httpuv 从 1.6.11 到 1.6.14
    • httr 从 1.4.6 到 1.4.7
    • httr2 从 0.2.3 到 1.0.0
    • jsonlite 从 1.8.7 到 1.8.8
    • knitr 从 1.43 到 1.45
    • labeling 从 0.4.2 到 0.4.3
    • later 从 1.3.1 到 1.3.2
    • lava 从 1.7.2.1 到 1.7.3
    • lifecycle 从 1.0.3 到 1.0.4
    • listenv 从 0.9.0 到 0.9.1
    • lubridate 从 1.9.2 到 1.9.3
    • markdown 从 1.7 到 1.12
    • methods 从 4.3.1 到 4.3.2
    • openssl 从 2.0.6 到 2.1.1
    • parallel 从 4.3.1 到 4.3.2
    • pkgbuild 从 1.4.2 到 1.4.3
    • pkgload 从 1.3.2.1 到 1.3.4
    • plyr 从 1.8.8 到 1.8.9
    • prettyunits 从 1.1.1 到 1.2.0
    • pROC 从 1.18.4 到 1.18.5
    • processx 从 3.8.2 到 3.8.3
    • prodlim 从 2023.03.31 到 2023.08.28
    • progress 从 1.2.2 到 1.2.3
    • progressr 从 0.13.0 到 0.14.0
    • promises 从 1.2.0.1 到 1.2.1
    • ps 从 1.7.5 到 1.7.6
    • purrr 从 1.0.1 到 1.0.2
    • ragg 从 1.2.5 到 1.2.7
    • Rcpp 从 1.0.11 到 1.0.12
    • RcppEigen 从 0.3.3.9.3 到 0.3.3.9.4
    • readr 从 2.1.4 到 2.1.5
    • recipes 从 1.0.6 到 1.0.9
    • rematch 从 1.0.1 到 2.0.0
    • remotes 从 2.4.2 到 2.4.2.1
    • reprex 从 2.0.2 到 2.1.0
    • rlang 从 1.1.1 到 1.1.3
    • rmarkdown 从 2.23 到 2.25
    • RODBC 从 1.3-20 到 1.3-23
    • roxygen2 从 7.2.3 到 7.3.1
    • rprojroot 从 2.0.3 到 2.0.4
    • Rserve 从 1.8-11 到 1.8-13
    • RSQLite 从 2.3.1 到 2.3.5
    • sass 从 0.4.6 到 0.4.8
    • scales 从 1.2.1 到 1.3.0
    • shiny 从 1.7.4.1 到 1.8.0
    • sparklyr 从 1.8.1 到 1.8.4
    • splines 从 4.3.1 到 4.3.2
    • stats 从 4.3.1 到 4.3.2
    • stats4 从 4.3.1 到 4.3.2
    • stringi 从 1.7.12 到 1.8.3
    • stringr 从 1.5.0 到 1.5.1
    • systemfonts 从 1.0.4 到 1.0.5
    • tcltk 从 4.3.1 到 4.3.2
    • testthat 从 3.1.10 到 3.2.1
    • textshaping 从 0.3.6 到 0.3.7
    • tidyr 从 1.3.0 到 1.3.1
    • timechange 从 0.2.0 到 0.3.0
    • timeDate 从 4022.108 到 4032.109
    • tinytex 从 0.45 到 0.49
    • tools 从 4.3.1 到 4.3.2
    • utf8 从 1.2.3 到 1.2.4
    • utils 从 4.3.1 到 4.3.2
    • uuid 从 1.1-0 到 1.2-0
    • vctrs 从 0.6.3 到 0.6.5
    • vroom 从 1.6.3 到 1.6.5
    • waldo 从 0.5.1 到 0.5.2
    • withr 从 2.5.0 到 3.0.0
    • xfun 从 0.39 到 0.41
    • xml2 从 1.3.5 到 1.3.6
    • yaml 从 2.3.7 到 2.3.8
    • zip 从 2.3.0 到 2.3.1
  • 升级了 Java 库：
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.15.1 到 2.16.0
    • com.google.flatbuffers.flatbuffers-java 从 1.12.0 到 23.5.26
    • com.typesafe.config 从 1.2.1 到 1.4.3
    • org.apache.ant.ant 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-jsch 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-launcher 从 1.9.16 到 1.10.11
    • org.apache.arrow.arrow-format 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-core 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-netty 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-vector 从 12.0.1 到 15.0.0
    • org.apache.avro.avro 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-ipc 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-mapred 从 1.11.2 到 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-core 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl 从 2.20.0 到 2.22.1
    • org.postgresql.postgresql 从 42.6.0 到 42.6.1

Apache Spark

Databricks Runtime 15.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-45527] [ DBRRM-805][es-1073714] 还原“[SC-151626][core] 使用分数执行资源计算”
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] 添加 COLLATION_ENABLED 配置标志
  • [SPARK-46973] [ SC-158140][dbrrm-777][SQL] 当表位于 V1 表缓存中时跳过 V2 表查找
  • [SPARK-46808] [ SC-154113][python] 使用自动排序函数优化 Python 中的错误类
  • [SPARK-47251] [SC-158291][python] 阻止args命令中sql参数的无效类型
  • [SPARK-47251] [SC-158121][python] 阻止命令参数args中的无效类型sql
  • [SPARK-47108] [SC-157204][core] 在 CLIs 中显式设置 derby.connection.requireAuthentication 为 false
  • [SPARK-45599] [ SC-157537][core] 在 OpenHashSet 中使用对象相等性
  • [SPARK-47099] [SC-157352][sql] 使用ordinalNumber统一设置paramIndex错误类UNEXPECTED_INPUT_TYPE的值
  • [SPARK-46558] [SC-151363][connect] 提取一个辅助函数以消除从MessageParameters中检索ErrorParams的重复代码GrpcExceptionConverter
  • [SPARK-43117] [ SC-156177][connect] 使 ProtoUtils.abbreviate 支持重复字段
  • [SPARK-46342] [SC-150283][sql] 在sql中用IllegalStateException替换SparkException.internalError
  • [SPARK-47123] [ SC-157412][core] JDBCRDD 无法正确处理 getQueryOutputSchema 中的错误
  • [SPARK-47189] [ SC-157667][sql] 调整列错误名称和文本
  • [SPARK-45789] [ SC-157101][sql] 支持 DESCRIBE TABLE 聚类列
  • [SPARK-43256] [SC-157699][sql] 删除错误类 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics 检查输入类型
  • [SPARK-47183] [ SC-157660][python] 修复错误类问题 sameSemantics
  • [SPARK-47179] [ SC-157663][sql] 改进 SparkThrowableSuite 的错误消息以提高可调试性
  • [SPARK-46965] [SC-155791][core] 检查 logType 在 Utils.getLog
  • [SPARK-46832] [ SC-156774][sql] 引入 Collate 和 Collation 表达式
  • [SPARK-46946] [ SC-155721][sql] 支持在 DynamicPruning 中广播多个筛选键
  • [SPARK-47079] [ VARIANT-22][sc-157598][PYTHON][sql][CONNECT] 向 PySpark 添加 Variant 类型信息
  • [SPARK-47101] [ SC-157360][sql] 允许在顶级列名中使用逗号，并删除对嵌套类型定义的检查 HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [ SC-157571][ss][UI] 修复流式处理 UI 说明中的拼写错误
  • [SPARK-47113] [ SC-157348][core] 恢复 SPARK-35878 的 S3A 端点修复逻辑
  • [SPARK-47130] [SC-157462][core] 清理驱动程序日志时，使用 listStatus 绕过块位置信息
  • [SPARK-43259] [ SC-157368][sql] 为错误类命名为 _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec 应初始化非安全投影
  • [SPARK-47137] [ SC-157463][python][CONNECT] 将 getAll 添加到 spark.conf，以便与 Scala 的功能奇偶校验
  • [SPARK-46924] [SC-154905][core] 修复日志 UI 中的Load New按钮
  • [SPARK-47069] [SC-157370][python][CONNECT] SparkSession 分析简介spark.profile.show/dump
  • [SPARK-46812] [ SC-157075][sql][PYTHON] 让 mapInPandas / mapInArrow 支持 ResourceProfile。
  • [SPARK-46833] [SC-155866][sql] 排序规则 - 引入CollationFactory，它为支持的排序规则提供比较和哈希规则
  • [SPARK-47057] [SC-157036][python] 重新启用 MyPy 数据测试
  • [SPARK-46934] [ SC-157084][sql] 具有 HMS 特殊字符的结构类型读/写往返
  • [SPARK-46727] [SC-153472][sql] 错误类上的 JDBC 方言中的端口classifyException()
  • [SPARK-46964] [ SC-155740][sql] 更改 hllInvalidLgK 查询执行错误的签名，将整数作为第 4 个参数
  • [SPARK-46949] [SC-155719][sql] 通过 ResolveDefaultColumns 支持 CHAR/VARCHAR
  • [SPARK-46972] [ SC-155888][sql] 修复 V2SessionCatalog.createTable 中 char/varchar 的非对称替换
  • [SPARK-47014] [ SC-156778][python][CONNECT] 实现方法 dumpPerfProfiles 和 dumpMemoryProfiles of SparkSession
  • [SPARK-46689] [ SC-156221][spark-46690][PYTHON][connect] 支持在 group/cogroup 的 applyInPandas/applyInArrow 中进行 v2 性能分析
  • [SPARK-47040] [ SC-156773][connect] 允许 Spark Connect 服务器脚本等待
  • [SPARK-46688] [ SC-156113][spark-46691][PYTHON][connect] 支持聚合 Pandas UDF 中的 v2 分析
  • [SPARK-47004] [ SC-156499][connect] 向 ClientStreamingQuerySuite 添加了更多测试以提高 Scala 客户端测试覆盖率
  • [SPARK-46994] [ SC-156169][python] 重构 PythonWrite 以准备支持 Python 数据源流式写入
  • [SPARK-46979] [ SC-156587][ss] 添加对单独指定键和值编码器的支持，并为 RocksDB 状态存储提供程序中的每个 col 系列添加支持
  • [SPARK-46960] [ SC-155940][ss] 使用 TransformWithState 运算符测试多个输入流
  • [SPARK-46966] [ SC-156112][python] 为“analyze”方法添加 UDTF API 以指示要选择的输入表列的子集
  • [SPARK-46895] [ SC-155950][core] 将计时器替换为单线程计划执行程序
  • [SPARK-46967] [SC-155815][core][UI] 隐藏Thread Dump和执行Heap HistogramDead程序在 UI 中Executors
  • [SPARK-46512] [SC-155826][核心] 在使用排序和组合时优化洗牌读取。
  • [SPARK-46958] [ SC-155942][sql] 添加缺少的时区以强制默认值
  • [SPARK-46754] [ SC-153830][sql][AVRO] 修复 avro 表定义和写入选项中的压缩代码解析问题
  • [SPARK-46728] [SC-154207][Python] 正确检查 Pandas 安装
  • [SPARK-43403] [SC-154216][ui] 在加载新的 SparkUI 之前，确保旧的 SparkUI 已从 HistoryServer 上分离。
  • [SPARK-39910] [ SC-156203][sql] 在 DataSource 文件路径 globbing 期间将路径限定委托给文件系统
  • [SPARK-47000] [SC-156123] 还原“[SC-156123][core] 使用 getTotalMemorySize」
  • [SPARK-46819] [ SC-154560][core] 将错误类别和状态移动到 JSON
  • [SPARK-46997] [SC-156175][core] 默认情况下启用spark.worker.cleanup.enabled
  • [SPARK-46865] [ SC-156168][ss] 添加对 TransformWithState 运算符的 Batch 支持
  • [SPARK-46987] [ SC-156040][connect] ProtoUtils.abbreviate 避免不必要的 setField 操作
  • [SPARK-46970] [SC-155816][core] 重写OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024][python] 删除pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] 在getTotalMemorySize中使用WorkerArguments
  • [SPARK-46980] [ SC-155914][sql][MINOR] 避免在数据帧端到端测试中使用内部 API
  • [SPARK-46931] 还原“[SC-155661][ps] 实现 {Frame, Series}.to_hdf”
  • [SPARK-46618] [ SC-153828][sql] 改进针对DATA_SOURCE_NOT_FOUND错误的提示信息
  • [SPARK-46849] [ SC-154586][sql] 在列默认值上运行 CREATE TABLE 优化器
  • [SPARK-46911] [ SC-155724][ss] 向 StatefulProcessorHandleImpl 添加 deleteIfExists 运算符
  • [SPARK-43273] [SQL] 支持 parquet 的 lz4raw 压缩编解码器
  • [SPARK-47002] [ SC-156223][python] 如果 UDTF“analyze”方法“orderBy”字段意外返回字符串列表，则返回更好的错误消息
  • [SPARK-46890] [ SC-155802][sql] 修复存在默认值和列修剪的 CSV 解析 bug
  • [SPARK-46977] [ SC-155892][core] 从一个 NameNode 获取令牌失败的请求不应跳过后续令牌请求
  • [SPARK-46608] [ SC-151806][sql] 恢复向后兼容性 JdbcDialect.classifyException
  • [SPARK-46908] [ SC-155702][sql] 支持在 WHERE 子句中使用星号子句
  • [SPARK-46908] [ SC-155702][sql] 支持在 WHERE 子句中使用星号子句
  • [SPARK-46852] [ SC-155665][ss] 移除显式使用键编码器，并将其隐式传递给 transformWithState 运算符使用的操作符
  • [SPARK-46864] [ SC-155669][ss] 将任意 StateV2 引入新的错误类框架中
  • [SPARK-45807] [ SC-155706][sql] 调用 replaceView（..） 后返回视图
  • [SPARK-46899] [SC-154651][core] 当POSTMasterWebUI时从spark.ui.killEnabled移除false API
  • [SPARK-46868] [SC-154539][核心] 支持 Spark 工作节点日志用户界面
  • [SPARK-46931] [SC-155661][ps] 实现 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] 移除未使用的 updateSparkConfigFromProperties 和 isAbsoluteURI 在 o.a.s.u.Utils
  • [SPARK-46929] [ SC-155659][core][CONNECT][ss] 使用 ThreadUtils.shutdown 关闭线程池
  • [SPARK-46400] [ SC-155658][core][SQL] 如果本地 maven 存储库中存在损坏的文件，请跳过此缓存，然后重试
  • [SPARK-46932] [SC-155655] 清理 pyspark.pandas.test_* 中的导入
  • [SPARK-46683] [SC-154120] 编写生成子查询排列的子查询生成器，以提高测试覆盖率
  • [SPARK-46914] [ SC-154776][ui] 缩短历史记录页上摘要表中的应用名称
  • [SPARK-46831] [SC-154699][sql] 排序规则 - 为 StringType 和 PhysicalStringType 增加 collationId 字段
  • [SPARK-46816] [ SC-154415][ss] 为新的任意状态管理运算符、单个 valueState 类型、多个状态变量和对具有/没有更改日志检查点的 RocksDBStateStoreProvider 列系列的基础支持添加基本支持
  • [SPARK-46925] [ SC-154890][python][CONNECT] 添加警告，指示安装进行内存分析的工具 memory_profiler。
  • [SPARK-46927] [SC-154904][python] 确保 assertDataFrameEqual 在没有 PyArrow 的情况下也能正常工作
  • [SPARK-46021] [ SC-148987][core] 支持取消属于作业组的未来作业
  • [SPARK-46747] [ SC-154789][sql] 避免在 getTableExistsQuery 中扫描 JDBC 方言
  • [SPARK-46904] [ SC-154704][ui] 修复历史记录 UI 摘要的显示问题
  • [SPARK-46870] [SC-154541][core] 支持 Spark 主日志界面 UI
  • [SPARK-46893] [ SC-154780][ui] 从 UI 说明中删除内联脚本
  • [SPARK-46910] [ SC-154760][python] 消除 PySpark 安装中的 JDK 要求
  • [SPARK-46907] [ SC-154736][core] 在 Spark History Server 中显示驱动程序日志位置
  • [SPARK-46902] [ SC-154661][ui] 修复由于未导出的 setAppLimit 而导致的 Spark History Server UI 问题
  • [SPARK-46687] [ SC-154725][python][CONNECT] 基于 SparkSession 的内存探查器的基本支持
  • [SPARK-46623] [ SC-153831][core][MLLIB][sql] 将 SimpleDateFormat 替换为 DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] 当为 mode null 时，应NullPointException引发 a not
  • [SPARK-46872] [SC-154543][core] 恢复 log-view.js 为非模块
  • [SPARK-46883] [SC-154629][core] 支持 /json/clusterutilization API
  • [SPARK-46886] [SC-154630][core] 默认启用spark.ui.prometheus.enabled
  • [SPARK-46873] [ SC-154638][ss] 不要为同一 Spark 会话重新创建新的 StreamingQueryManager
  • [SPARK-46829] [SC-154419][core] 从 SparkEnv 中删除 createExecutorEnv
  • [SPARK-46827] [SC-154280][core] 使RocksDBPersistenceEngine支持符号链接
  • [SPARK-46903] [SC-154662][核心] 支持日志 UI 的 Spark History Server
  • [SPARK-46874] [ SC-154646][python] 移除 pyspark.pandas 中的 assertDataFrameEqual 依赖项
  • [SPARK-46889] [SC-154639][core] 验证 spark.master.ui.decommission.allow.mode 设置
  • [SPARK-46850] [SC-154443][sql] 将_LEGACY_ERROR_TEMP_2102 转换为UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] 修复按MasterPage列正确排序Running Drivers表的问题
  • [SPARK-46796] [ SC-154279][ss] 确保在 RocksDB 版本加载上使用正确的远程文件（metadata.zip中提及）
  • [SPARK-46888] [SC-154636][core] 修复了当停用禁用时拒绝Master请求的问题/workers/kill/
  • [SPARK-46818] [SC-154422][sql] 改进 Range 使用不可折叠输入时的错误消息
  • [SPARK-46898] [ SC-154649][connect] 简化 Planner 中的 protobuf 函数转换
  • [SPARK-46828] [ SC-154413][sql] 删除 spark sql shell 远程模式的无效断言
  • [SPARK-46733] [SC-154274][core] 通过退出操作，只依赖中断线程来简化 BlockManager。
  • [SPARK-46777] [ SC-154016][ss] 重构 StreamingDataSourceV2Relation 催化剂结构，以更符合批处理版本
  • [SPARK-46515] [SC-151716] 添加 MONTHNAME 函数
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion 应检查是否可以为 null
  • [SPARK-46787] [SC-154404][connect] bloomFilter 函数应抛出 AnalysisException 无效输入
  • [SPARK-46779] [ SC-154045][sql] InMemoryRelation 同一缓存计划的实例在语义上应等效
  • [SPARK-45827] [SC-153973] 禁止对 Variant 列进行分区
  • [SPARK-46797] [SC-154085][core] 重命名 spark.deploy.spreadOut 为 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 支持执行程序 JVM 分析
  • [SPARK-46746] [ SC-153557][sql][AVRO] 将编解码器扩展附加到 avro 数据源文件
  • [SPARK-46698] [ SC-153288][core] 将计时器替换为 ConsoleProgressBar 的单线程调度执行器。
  • [SPARK-46629] [SC-153835] 对 STRUCT 类型 DDL 的修复无法获取为 null 性和注释
  • [SPARK-46750] [SC-153772][connect][PYTHON] 数据帧 API 的代码清理
  • [SPARK-46769] [ SC-153979][sql] 优化与时间戳相关的架构推理
  • [SPARK-46765] [ SC-153904][python][CONNECT] 使 shuffle 指定 seed 的数据类型
  • [SPARK-46579] [SC-151481][sql] 在错误和日志中隐藏 JDBC URL
  • [SPARK-46686] [ SC-153875][python][CONNECT] 基本支持基于 SparkSession 的 Python UDF 探查器
  • [SPARK-46748] 还原“[SC-153800][core] 删除 *slav**.sh scri...
  • [SPARK-46707] [ SC-153833][sql] 向表达式添加了可抛出字段以提高谓词下推效果
  • [SPARK-46519] [ SC-151278][sql] 清除 error-classes.json 文件中未使用的错误类
  • [SPARK-46677] [ SC-153426][sql][CONNECT] 修复 dataframe["*"] 分辨率
  • [SPARK-46317] [ SC-150184][python][CONNECT] 匹配 SparkSession 中具有完整测试覆盖率的次要行为匹配
  • [SPARK-46748] [SC-153800][core] 删除 *slav**.sh 脚本
  • [SPARK-46663] [ SC-153490][python] 使用迭代器禁用 pandas UDF 的内存探查器
  • [SPARK-46410] [ SC-150776][sql] 将错误类/子类分配给 JdbcUtils.classificationException
  • [SPARK-46277] [ SC-150126][python] 验证正在配置的启动 URL 地址
  • [SPARK-46612] [ SC-153536][sql] 不要转换从 jdbc 驱动程序检索的数组类型字符串
  • [SPARK-46254] [ SC-149788][python] 移除已过期的 Python 3.8/3.7 版本检测
  • [SPARK-46490] [SC-151335][sql] 要求在子类中使用 SparkThrowable 错误类
  • [SPARK-46383] [ SC-153274][sc-147443][WARMFIX] 通过缩短组件的生命周期来减少驱动程序堆的使用量 TaskInfo.accumulables()
  • [SPARK-46541] [ SC-153109][sql][CONNECT] 修复自联接中的不明确列引用
  • [SPARK-46381] [ SC-150495][sql] 将子 AnalysisException 类迁移到错误类
  • [SPARK-46351] [SC-150335][sql] 在AnalysisException中需要一个错误类
  • [SPARK-46220] [ SC-149689][sql] 限制字符集 decode()
  • [SPARK-46369] [SC-150340][core] 从kill驱动程序中删除RELAUNCHING链接MasterPage
  • [SPARK-46052] [ SC-153284][core] 删除函数 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] 支持 GROUP BY 日历间隔类型
  • [SPARK-46675] [ SC-153209][sql] 删除 ParquetReadSupport 中的未使用的 inferTimestampNTZ
  • [SPARK-46717] [ SC-153423][core] 简化退出操作仅依赖于中断线程。
  • [SPARK-46722] [SC-153438][connect] 增加一个关于 Spark Connect 中 StreamingQueryListener 的向后兼容性检查测试（Scala/PySpark）
  • [SPARK-46187] [SC-149580][sql] 对齐代码生成和非代码生成实现 StringDecode
  • [SPARK-46258] [SC-149799][core] 添加 RocksDBPersistenceEngine
  • [SPARK-46216] [ SC-149676][core] 改进 FileSystemPersistenceEngine 以支持压缩
  • [SPARK-46189] [SC-149567][ps][SQL] 在各种 Pandas 聚合函数中进行同类型的比较和算术运算，以避免解释模式错误。
  • [SPARK-46184] [ SC-149563][core][SQL][connect][MLLIB] 通过将 Option.isDefined 替换为 Option.isEmpty 来减少堆栈深度
  • [SPARK-46700] [SC-153329][core] 在洗牌磁盘溢出字节指标中统计最后一次溢出
  • [SPARK-45642] [SC-150286][core][SQL] 修复 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [ SC-153272][sql] 通过排除子查询属性修复 RemoveRedundantAlias
  • [SPARK-46681] [SC-153287][core] 重构ExecutorFailureTracker#maxNumExecutorFailures以避免在配置defaultMaxNumExecutorFailures时计算MAX_EXECUTOR_FAILURES
  • [SPARK-46695] [ SC-153289][sql][HIVE] 始终将 hive.execution.engine 设置为 mr
  • [SPARK-46325] [SC-150228][connect] 删除在WrappedCloseableIterator中ResponseValidator#wrapIterator构造时不必要的重写函数
  • [SPARK-46232] [ SC-149699][python] 将所有剩余的 ValueError 迁移到 PySpark 错误框架。
  • [SPARK-46547] [ SC-153174][ss] 在维护线程的任务中处理非致命异常，以避免维护线程与流式聚合运算符之间出现死锁
  • [SPARK-46169] [ SC-149373][ps] 为 API 中缺少的参数 DataFrame 分配适当的 JIRA 编号。
  • [SPARK-45857] [ SC-148096][sql] 在子类中强制实施错误类 AnalysisException

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 15.1 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.74.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.1.0

已安装的 Python 库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
Azure存储Blob 12.19.1 Azure存储文件数据湖 12.14.0 回调 0.2.0
黑色 23.3.0 闪烁器 1.4 boto3 1.34.39
botocore 1.34.39 cachetools (缓存工具) 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer (字符集正常化工具) 2.0.4
单击 8.0.4 cloudpickle 2.2.1 通讯 0.1.2
contourpy 1.0.5 密码系统 41.0.3 骑行者 0.11.0
Cython 0.29.32 Databricks软件开发工具包 (databricks-sdk) 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 装饰师 5.1.1 distlib 0.3.8
入口点 0.4 执行 0.8.3 各个方面概述 1.1.1
文件锁 (filelock) 3.13.1 fonttools（字体工具） 4.25.0 gitdb (Git数据库) 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth (谷歌身份验证) 2.28.2
google-cloud-core (Google云核心) 2.4.1 谷歌云存储 (Google Cloud Storage) 2.15.0 google-crc32c 1.5.0
google-resumable-media（谷歌可恢复媒体） 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 吉普尼 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client（Jupyter 客户端） 7.4.9 jupyter_core（Jupyter核心） 5.3.0
jupyterlab-widgets 3.0.5 钥匙圈 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 打包 23.2
熊猫 1.5.3 帕尔索 0.8.3 pathspec 0.10.3
替罪羊 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
枕头 9.4.0 果仁 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 Python代码解析器 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022年7月
PyYAML 6.0 pyzmq 23.2.0 请求 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 堆栈数据 0.2.0
statsmodels 0.14.0 毅力 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 龙卷风 6.3.2 Traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022年1月 ujson 5.4.0
无人参与升级 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 轮子 0.38.4
widgetsnbextension 4.0.5 齐普 3.11.0

已安装的 R 库

R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
回移补丁 1.4.1 基础 4.3.2 base64enc 0.1-3
bigD 0.2.0 位 4.0.5 bit64 4.0.5
bitops 1.0-7 团状物 1.2.4 启动 1.3-28
酿造/冲泡 1.0-10 活力 1.1.4 扫帚 1.0.5
bslib 0.6.1 卡齐姆 1.0.8 调用方 3.7.3
插入符号 6.0-94 cellranger 1.1.0 chron 2.3-61
班级 7.3-22 CLI 3.6.2 剪辑器 0.8.0
时钟 0.7.0 集群 2.1.4 codetools 0.2至19
色彩空间 2.1-0 commonmark 1.9.1 编译器 4.3.2
配置 0.3.2 矛盾 1.2.0 cpp11 0.4.7
蜡笔 1.5.2 凭据 2.0.1 卷曲 5.2.0
data.table 1.15.0 数据集 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 摘要 0.6.34
向下照明 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略号 0.3.2 评估 0.23
fansi 1.0.6 颜色 2.1.1 快速映射 1.1.1
fontawesome 0.5.2 猫咪 1.0.0 foreach 1.5.2
外国 0.8-85 锻造 0.2.0 文件系统 (if fs stands for "file system") 1.6.3
未来 1.33.1 future.apply 1.11.1 漱口 1.5.2
泛 型 0.1.3 格尔特 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 全局变量 0.16.2 胶水 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 高尔 1.0.1
图形 4.3.2 grDevices 4.3.2 “业务流程参数” 网格 4.3.2
gridExtra 2.3 gsubfn 0.7 燃气轮机 0.10.1
gtable 0.3.4 安全帽 1.3.1 避风港 2.5.4
更高 0.10 赫姆斯 1.1.3 HTML工具 0.5.7
HTML小插件 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 多汁果汁 0.1.0
KernSmooth 2.23-21 针织器 1.45 标记 0.4.3
稍后 1.3.2 格子 0.21-8 熔岩 1.7.3
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 质量 7.3-60
矩阵 1.5-4.1 缓存 2.0.1 方法 4.3.2
mgcv 1.8-42 默剧 0.12 迷你用户界面 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
蒙塞尔 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016年8月至1月1日 openssl（开放SSL） 2.1.1 平行 4.3.2
并行 1.36.0 柱子 1.9.0 pkgbuild (软件包构建工具) 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
普洛格 0.2.0 普莱尔 1.8.9 赞美 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023年08月28日 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 承诺 1.2.1 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 随机森林 (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 可交互表格 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
食谱 1.0.9 重赛 2.0.0 rematch2 2.1.2
遥控器 2.4.2.1 可复现示例 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
磅秤 1.3.0 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6 光亮 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 空间 7.3-15 样 条 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 统计数据 4.3.2
统计数据4 4.3.2 字符串 1.8.3 stringr 1.5.1
生存 3.5-5 斯瓦格 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
文本整形 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 时间变化 0.3.0
时间日期 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 URL检查器 1.0.1 usethis 2.2.2
utf8 1.2.4 实用工具 4.3.2 UUID（通用唯一识别码） 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 瓦尔多 0.5.2 晶 须 0.4.1
无改动（具体含义和背景需要更多信息） 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 压缩包 2.3.1

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWS Java SDK CloudFront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK 云搜索 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.390
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.390
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK Glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.390
com.amazonaws AWS-Java-SDK-机器学习 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK 存储网关 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK支持 1.12.390
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink 丁克 1.9.0
com.google.errorprone 易出错的注释 2.10.0
com.google.flatbuffers flatbuffers-java 23年5月26日
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.16.0
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
公共文件上传 公共文件上传 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics 指标注释 4.2.19
io.dropwizard.metrics 度量核心 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 指标-健康检查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics 指标-JMX 4.2.19
io.dropwizard.metrics 指标-json 4.2.19
io.dropwizard.metrics 指标-JVM 4.2.19
io.dropwizard.metrics 指标-Servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer（Netty缓存） 4.1.96.Final
io.netty Netty编解码器 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty Netty-Common（网络通用组件） 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver (Netty 解析器) 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-Windows操作系统-x86_64
io.netty Netty TcNative 类 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty Netty传输-本机-Unix-通用 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake Snowflake 数据导入 SDK 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 箭头格式 15.0.0
org.apache.arrow 箭头内存核心 15.0.0
org.apache.arrow 箭头内存网状系统 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人与客户 2.13.0
org.apache.curator Curator框架 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 数据草图内存 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-垫片 2.3.9
org.apache.hive 蜂巢存储API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 听众批注 0.13.0
org.apache.zookeeper 动物园管理员 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty 码头安全 9.4.52.v20230823
org.eclipse.jetty jetty-server（Jetty服务器） 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util（Jetty工具库） 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty 网页应用 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket客户端 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers Jersey容器Servlet核心 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate验证器 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 垫片 0.9.45
.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与Scalatest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1