Analytics Platform System(横向扩展 MPP 数据仓库)中的新增功能

查看 Microsoft Analytics Platform System (APS) 的最新设备更新中的新增功能。 APS 是一个可扩展的本地设备,用于托管基于 MPP 的 SQL Server 并行数据仓库。

APS CU7.8

发布日期 - 2021 年 11 月

SCVMM2016

APS CU 7.8 软件增加了对脱机安装SCVMM2016的支持。

使用最新 SQL 版本修补 VMM。

版本还包括其他安全更新和 bug 修复。

APS CU7.7

发布日期 - 2020 年 11 月

SCVMM2016

APS CU7.7 软件将 VMM VM 升级到 Windows Server 2016 并安装SCVMM2016。 当前正在使用的 SCVMM 2012 R2 的生命周期结束日期为 2022 年 7 月。 需要支持较新的 SCVMM,使 CU7.7 成为强制升级。 客户应尽快升级到 CU7.7。

用于 SQL Server 2019 的 SSIS 目标适配器

可以从 下载站点下载支持 SQL Server 2019 的新 APS SSIS 目标适配器作为部署目标。

APS CU7.6

发布日期 - 2020 年 4 月

重命名列

升级到 CU7.6 后,客户将能够重命名用户创建的表的列。 有关语法、示例、限制和详细信息,请参阅 RENAME (Transact-SQL )。

更改视图

客户现在可以更改视图。 有关详细信息,请参阅 ALTER VIEW (Transact-SQL)。

APS CU7.5

发布日期 - 2019 年 9 月

更改外部数据源

客户可以使用 CU7.5 更新更改外部数据源定义。 具有 Hadoop 名称节点高可用性的客户现在可以更改数据源,以在发生故障转移时更改参数。 对于 APS,只能更改 LOCATION、RESOURCE_MANAGER_LOCATION 和 CREDENTIAL。 有关详细信息,请参阅 更改外部数据源

CDH 5.15 和 5.16 支持 PolyBase

具有 CU7.5 更新的 APS 上的 PolyBase 现在支持 Cloudera 提供的 CDH 5.15 和 5.16 版本的 Hadoop 分发。 对 CDH 5.x 版本使用选项 6。

Try_Convert和Try_Cast支持

CU7.5 APS 现在支持 TRY_CASTTRY_CONVERT tsql 函数。 如果转换成功,这两个函数将返回转换为指定数据类型的值;否则,返回 null。

APS CU7.4

发布日期 - 2019 年 5 月

使用 dwloader 加载大型行

从 APS CU7.4 开始,客户将能够使用新的 dwloader 将行加载到大于 32 KB(32,768 字节)的表中。 新的 dwloader 支持 -l 开关,该开关采用介于 32768 和 33554432(字节)之间的整数值来加载大于 32 KB 的行。 仅当加载大行(大于 32 KB)时,才使用此选项,因为此开关将在客户端和服务器上分配更多内存,并且可能会降低负载速度。 可以从 下载站点下载新版 dwloader。

HDP 3.0 和 3.1 支持 PolyBase

APS 上的 PolyBase 现已通过此更新支持 HDP 3.0 和 3.1。 对 HDP 3.x 版本使用选项 7。 有关详细信息,请参阅 PolyBase 连接 页。

PolyBase 的 UTF16 文件支持

PolyBase 现在支持读取 UTF16 (LE) 编码中的带分隔符的文本文件。 有关设置详细信息,请参阅 创建外部文件格式

APS CU7.3

发布日期 - 2018 年 12 月

常见子表达式消除

APS CU7.3 通过 SQL 查询优化器中的常见子表达式消除来提高查询性能。 改进通过两种方式改进查询。 第一个好处是识别和消除此类表达式有助于缩短 SQL 编译时间。 第二个和更重要的好处是消除这些冗余子表达式的数据移动作,因此查询的执行时间会更快。 有关此功能的详细说明,请参阅 通用子表达式消除说明

已发布适用于 Informatica 10.2.0 的 APS Informatica 连接器

我们发布了适用于 APS 的新版本 Informatica 连接器,该版本兼容 Informatica 10.2.0 和 10.2.0 热修复 1。 可以从 下载站点下载新的连接器。

注释

适用于 Informatica 10.2.0 或 10.2.0 修补程序 1 的 APS Informatica 连接器不适用于严格的 TLS1.2,并且要求 TLS1.0 和 1.1 完全正常运行。

支持的版本

APS 版本 Informatica PowerCenter Driver
APS 2016 9.6.1 SQL Server Native Client 11.x
APS 2016 及更高版本 10.2.0、10.2.0 补丁 1 SQL Server Native Client 11.x

APS CU7.2

发布日期 - 2018 年 10 月

支持 TLS 1.2

APS CU7.2 支持 TLS 1.2。 现在可以将客户端计算机到 APS 和 APS 内部节点通信设置为仅通过 TLS1.2 进行通信。 安装在客户端计算机上且仅通过 TLS 1.2 进行通信的工具(如 SSDT、SSIS 和 Dwloader)现在可以使用 TLS 1.2 连接到 APS。 默认情况下,APS 将支持所有 TLS(1.0、1.1 和 1.2)版本以实现向后兼容性。 如果要将 APS 设备设置为严格使用 TLS 1.2,可以通过更改注册表设置来执行此作。

有关详细信息,请参阅 在 APS 上配置 TLS1.2

PolyBase 的 Hadoop 加密区域支持

PolyBase 现在可以与 Hadoop 加密区域通信。 请参阅 配置 Hadoop 安全性所需的 APS 配置更改。

Insert-Select maxdop 选项

我们添加了一个 功能开关,允许您为插入选择操作选择大于 1 的 maxdop 设置。 现在可以将 maxdop 设置设置为 0、1、2 或 4。 默认值为 1。

重要

增加 maxdop 有时可能会导致操作变慢或出现死锁错误。 如果发生这种情况,请将设置更改回 maxdop 1,然后重试该操作。

ColumnStore 索引运行状况 DMV

可以使用 dm_pdw_nodes_db_column_store_row_group_physical_stats dmv 查看列存储索引运行状况信息。 使用以下视图识别碎片情况,并确定何时需要重建或重组列存储索引。

create view dbo.vCS_rg_physical_stats
as 
with cte
as
(
select   tb.[name]                    AS [logical_table_name]
,        rg.[row_group_id]            AS [row_group_id]
,        rg.[state]                   AS [state]
,        rg.[state_desc]              AS [state_desc]
,        rg.[total_rows]              AS [total_rows]
,        rg.[trim_reason_desc]        AS trim_reason_desc
,        mp.[physical_name]           AS physical_name
FROM    sys.[schemas] sm
JOIN    sys.[tables] tb               ON  sm.[schema_id]          = tb.[schema_id]                             
JOIN    sys.[pdw_table_mappings] mp   ON  tb.[object_id]          = mp.[object_id]
JOIN    sys.[pdw_nodes_tables] nt     ON  nt.[name]               = mp.[physical_name]
JOIN    sys.[dm_pdw_nodes_db_column_store_row_group_physical_stats] rg      ON  rg.[object_id]     = nt.[object_id]
                                                                            AND rg.[pdw_node_id]   = nt.[pdw_node_id]
                                        AND rg.[pdw_node_id]    = nt.[pdw_node_id]                                          
)
select *
from cte;

ORC 和 Parquet 文件的 PolyBase 日期范围增加

使用 PolyBase 读取、导入和导出日期数据类型现在支持 1970-01-01 和 2038-01-20 之后的 ORC 和 Parquet 文件类型。

用于 SQL Server 2017 的 SSIS 目标适配器

可以从 下载站点下载新的支持 SQL Server 2017 的 APS SSIS 目标适配器。

APS CU7.1

发布日期 - 2018 年 7 月

DBCC 命令不使用并发槽(行为更改)

APS 支持 T-SQL DBCC 命令 的子集,例如 DBCC DROPCLEANBUFFERS。 以前,这些命令会占用一个并发槽,从而减少可执行的用户加载/查询数量。 这些 DBCC 命令现在在不使用用户并发槽的本地队列中运行,从而提高整体查询执行性能。

将一些元数据调用替换为目录对象

使用目录对象进行元数据调用,而不是使用 SMO 在 APS 中显示了性能改进。 从 CU7.1 开始,其中一些元数据调用现在默认使用目录对象。 如果使用元数据查询的客户遇到任何问题,则可以通过 功能开关 关闭此行为。

故障修复

我们已使用 APS CU7.1 升级到 SQL Server 2016 SP2 CU2。 升级修复了下面所述的一些问题。

Title Description
潜在的元组转移器死锁 升级修复了分布式事务和元组移动器后台线程中长期存在的死锁的可能性。 安装 CU7.1 后,那些将 TF634 作为 SQL Server 启动参数或全局跟踪标志来停止元组移动器的客户可以安全地移除该设置。
某些滞后/提前查询失败 对于使用嵌套延迟/向前函数的 CCI 表的某些查询,此升级已修复错误。

APS AU7

发布日期 - 2018 年 5 月

APS 2016 是升级到 AU7 的先决条件。 以下是 APS AU7 中的新功能:

自动创建和自动更新统计信息

默认情况下,APS AU7 会自动创建和更新统计信息。 若要更新统计信息设置,管理员可以在 Configuration Manager 中使用新功能切换菜单项。 功能开关控制统计信息的自动创建、自动更新和异步更新行为。 还可以使用 ALTER DATABASE(并行数据仓库) 语句更新统计信息设置。

T-SQL

现在支持选择 @var 。 有关详细信息,请参阅 选择局部变量

现在支持查询提示 HASH 和 ORDER GROUP。 有关详细信息,请参阅 提示(Transact-SQL) - 查询

功能开关

APS AU7 在 Configuration Manager 中引入了功能交换机。 AutoStatsEnabled 和 DmsProcessStopMessageTimeoutInSeconds 现在是管理员可更改的可配置选项。

已知问题

使用 APS AU7 软件,提供了 Intel BIOS 更新,修复了描述为 推测执行侧通道攻击的问题。 这些攻击旨在利用所谓的 Spectre 和梅尔顿漏洞。 尽管与 APS 一起打包,但 BIOS 更新是手动安装的,而不是作为 APS AU7 软件安装的一部分进行安装。

Microsoft建议所有客户安装 BIOS 更新。 Microsoft测量了内核虚拟地址阴影(KVAS)、内核页表间接(KPTI)和间接分支预测缓解(IBP)对各种环境中的各种 SQL 工作负荷的影响。 这些度量发现某些工作负荷明显下降。 根据结果,建议在生产环境中部署 BIOS 更新之前测试启用 BIOS 更新的性能效果。 有关 SQL Server 指南,请参阅 KB4073225

APS 2016

本部分介绍了 APS 2016-AU6 的新功能。

SQL Server 2016

APS AU6 在最新的 SQL Server 2016 版本上运行,并使用默认数据库兼容性级别 130。 SQL Server 2016 支持新功能,例如:

  • 聚集列存储索引的辅助索引。
  • PolyBase 的 Kerberos。

T-SQL

APS AU6 支持这些 T-SQL 兼容性改进。 通过这些其他语言元素,可以轻松地从 SQL Server 和其他数据源迁移。

数据类型

窗口函数

安全功能

其他函数

PolyBase/Hadoop 增强功能

  • 与 Hortonworks HDP 2.4 和 HDP 2.5 的兼容性
  • 通过数据库作用域凭据支持 Kerberos
  • Azure 存储 Blob 的凭据支持

安装和升级增强功能

企业体系结构更新 将现有设备升级到 APS AU6 会安装最新的固件和驱动程序更新,其中包括安全修补程序。

来自 HPE 或 DELL 的新设备包括所有最新更新以及:

  • 最新一代处理器支持 (Broadwell)
  • 更新到 DDR4 DIMM
  • 改进了 DIMM 吞吐量

集成

  • 完全限定的域名(FQDN)支持使用户能够设置对设备的域信任。
  • 若要使用 FQDN,您需要在升级过程中执行完整升级并选择加入该功能。

缩短停机时间 安装或升级到 APS AU6 的速度比以前的版本要快,需要更少的停机时间。 若要减少停机时间,请安装或升级:

  • 使用包含截至 2016 年 6 月的所有更新的映像来优化应用 WSUS 更新的流程
  • 随驱动程序和固件更新一起应用安全更新
  • 将最新的修补程序和设备验证实用工具(PAV)放在设备上,以便他们准备好安装,而无需下载它们。