为导入作业准备硬盘驱动器

WAImportExport 工具是可用于 Microsoft Azure 导入/导出服务的驱动器准备和修复工具。 可以使用此工具将数据复制到要寄送到 Azure 数据中心的硬盘驱动器。 导入作业完成后，可以使用此工具修复任何已损坏、丢失或与其他 Blob 冲突的 Blob。 从已完成的导出作业收到驱动器后，可以使用此工具修复驱动器上损坏或丢失的任何文件。 在本文中，我们将介绍此工具的使用。

先决条件

WAImportExport.exe 的要求

• 计算机配置
  • Windows 7、Windows Server 2008 R2 或更新的 Windows作系统
  • 必须安装 .NET Framework 4。 有关如何检查计算机上是否安装了 .NET Framework 的 常见问题解答 。
• 存储帐户密钥 - 至少需要存储帐户的一个帐户密钥。

准备用于导入作业的磁盘

• BitLocker - 必须在运行 WAImportExport 工具的计算机上启用 BitLocker。 请参阅常见问题解答以了解如何启用 BitLocker。
• 可从运行 WAImportExport 工具的计算机访问磁盘。 请参阅有关磁盘规范的 常见问题解答 。
• 源文件 - 计划导入的文件必须可从复制计算机访问，无论是在网络共享还是本地硬盘驱动器上。

修复部分失败的导入作业

• 复制日志文件，此文件是在 Azure 导入/导出服务将数据在存储帐户和磁盘之间复制时生成的。 它位于目标存储帐户中。

修复部分失败的导出作业

• 复制日志文件，此文件是在 Azure 导入/导出服务将数据在存储帐户和磁盘之间复制时生成的。 它位于源存储帐户中。
• 清单文件 - [可选] 位于Microsoft返回的导出驱动器上。

下载并安装 WAImportExport

下载 最新版本的 WAImportExport.exe。 将压缩的内容解压缩到您计算机上的目录。

下一个任务是创建 CSV 文件。

准备数据集 CSV 文件

什么是数据集 CSV

数据集 CSV 文件是 /dataset 标志的值，包含要复制到目标驱动器的目录和/或文件列表。 创建导入作业的第一步是确定要导入的目录和文件。 这可以是目录列表、唯一文件列表或这两个文件的组合。 包含目录后，目录及其子目录中的所有文件都将是导入作业的一部分。

要导入的每个目录或文件，您必须在 Azure Blob 服务中指定目标虚拟目录或 Blob。 将这些目标用作 WAImportExport 工具的输入。 目录路径应使用正斜杠字符“/”进行分隔。

下表显示了 Blob 目标的一些示例：

示例 dataset.csv

BasePath,DstBlobPathOrPrefix,BlobType,Disposition,MetadataFile,PropertiesFile
"F:\50M_original\100M_1.csv.txt","containername/100M_1.csv.txt",BlockBlob,rename,"None",None
"F:\50M_original\","containername/",BlockBlob,rename,"None",None

数据集 CSV 文件字段

准备 InitialDriveSet 或 AdditionalDriveSet CSV 文件

什么是驱动集 CSV

/InitialDriveSet 或 /AdditionalDriveSet 标志的值是一个 CSV 文件，其中包含将驱动器号映射到的磁盘列表，以便该工具可以正确选取要准备的磁盘列表。 如果数据大小大于单个磁盘大小，WAImportExport 工具将以优化的方式将此数据分配到此 CSV 文件中登记的多个磁盘上。

在单个会话中可以写入数据的磁盘数没有限制。 该工具将根据磁盘大小和文件夹大小分配数据。 它会选择最适合对象大小优化的磁盘。 上传到存储帐户的数据将聚合回数据集文件中指定的目录结构。 若要创建驱动器集 CSV，请执行以下步骤。

创建基本卷并分配驱动器号

若要创建基本卷并分配驱动器号，请按照 磁盘管理概述中给出的“更简单的分区创建”说明进行操作。

示例 InitialDriveSet 和 AdditionalDriveSet CSV 文件

DriveLetter,FormatOption,SilentOrPromptOnFormat,Encryption,ExistingBitLockerKey
G,AlreadyFormatted,SilentMode,AlreadyEncrypted,060456-014509-132033-080300-252615-584177-672089-411631
H,Format,SilentMode,Encrypt,

驱动器集 CSV 文件字段

准备用于导入作业的磁盘

若要为导入作业准备驱动器，请使用 PrepImport 命令调用 WAImportExport 工具。 包括哪些参数取决于这是第一个复制会话还是后续复制会话。

第一次会议

第一个复制会话，用于将单个/多个目录复制到单个/多个磁盘（具体取决于 CSV 文件中指定的内容）WAImportExport 工具 PrepImport 命令，用于复制具有新复制会话的目录和/或文件：

WAImportExport.exe PrepImport /j:<JournalFile> /id:<SessionId> [/logdir:<LogDirectory>] [/sk:<StorageAccountKey>] [/silentmode] [/InitialDriveSet:<driveset.csv>] /DataSet:<dataset.csv>

示例：

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#1  /sk:\*\*\*\*\*\*\*\*\*\*\*\*\* /InitialDriveSet:driveset-1.csv /DataSet:dataset-1.csv /logdir:F:\logs

在后续会话中添加数据

在后续复制会话中，无需指定初始参数。 你需要使用相同的日志文件，以便工具记住它在上一个会话中留下的位置。 复制会话的状态将写入日志文件。 下面是后续复制会话复制其他目录和或文件的语法：

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<DifferentSessionId>  [DataSet:<differentdataset.csv>]

示例：

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2  /DataSet:dataset-2.csv

将驱动器添加到当前会话

如果数据不适合 InitialDriveset 中的指定驱动器，则可以使用该工具将其他驱动器添加到同一复制会话。

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /AdditionalDriveSet:<newdriveset.csv>

示例：

WAImportExport.exe PrepImport /j:SameJournalTest.jrn /id:session#2  /AdditionalDriveSet:driveset-2.csv

中止最新会话：

如果复制会话中断并且无法恢复（例如，如果源目录被证明是不可访问的），则必须中止当前会话，以便可以回滚并启动新的复制会话：

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /AbortSession

示例：

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2  /AbortSession

只有当最后一个复制会话异常终止时，才能中止它。 请注意，无法终止驱动器的第一次复制会话。 相反，必须使用新的日志文件重启复制会话。

恢复最新中断的会话

如果复制会话因任何原因而中断，则可以通过仅运行指定日志文件的工具来恢复它：

WAImportExport.exe PrepImport /j:<SameJournalFile> /id:<SameSessionId> /ResumeSession

示例：

WAImportExport.exe PrepImport /j:JournalTest.jrn /id:session#2 /ResumeSession

WAImportExport 参数

工具输出

示例驱动器清单文件

<?xml version="1.0" encoding="UTF-8"?>
<DriveManifest Version="2011-MM-DD">
   <Drive>
      <DriveId>drive-id</DriveId>
      <StorageAccountKey>storage-account-key</StorageAccountKey>
      <ClientCreator>client-creator</ClientCreator>
      <!-- First Blob List -->
      <BlobList Id="session#1-0">
         <!-- Global properties and metadata that applies to all blobs -->
         <MetadataPath Hash="md5-hash">global-metadata-file-path</MetadataPath>
         <PropertiesPath Hash="md5-hash">global-properties-file-path</PropertiesPath>
         <!-- First Blob -->
         <Blob>
            <BlobPath>blob-path-relative-to-account</BlobPath>
            <FilePath>file-path-relative-to-transfer-disk</FilePath>
            <ClientData>client-data</ClientData>
            <Length>content-length</Length>
            <ImportDisposition>import-disposition</ImportDisposition>
            <!-- page-range-list-or-block-list -->
            <!-- page-range-list -->
            <PageRangeList>
               <PageRange Offset="1073741824" Length="512" Hash="md5-hash" />
               <PageRange Offset="1073741824" Length="512" Hash="md5-hash" />
            </PageRangeList>
            <!-- block-list -->
            <BlockList>
               <Block Offset="1073741824" Length="4194304" Id="block-id" Hash="md5-hash" />
               <Block Offset="1073741824" Length="4194304" Id="block-id" Hash="md5-hash" />
            </BlockList>
            <MetadataPath Hash="md5-hash">metadata-file-path</MetadataPath>
            <PropertiesPath Hash="md5-hash">properties-file-path</PropertiesPath>
         </Blob>
      </BlobList>
   </Drive>
</DriveManifest>

每个驱动器的示例日志文件 （XML）

[BeginUpdateRecord][2016/11/01 21:22:25.379][Type:ActivityRecord]
ActivityId: DriveInfo
DriveState: [BeginValue]
<?xml version="1.0" encoding="UTF-8"?>
<Drive>
   <DriveId>drive-id</DriveId>
   <BitLockerKey>*******</BitLockerKey>
   <ManifestFile>\DriveManifest.xml</ManifestFile>
   <ManifestHash>D863FE44F861AE0DA4DCEAEEFFCCCE68</ManifestHash> </Drive>
[EndValue]
SaveCommandOutput: Completed
[EndUpdateRecord]

用于记录会话轨迹的会话的示例日志文件 (JRN)

[BeginUpdateRecord][2016/11/02 18:24:14.735][Type:NewJournalFile]
VocabularyVersion: 2013-02-01
[EndUpdateRecord]
[BeginUpdateRecord][2016/11/02 18:24:14.749][Type:ActivityRecord]
ActivityId: PrepImportDriveCommandContext
LogDirectory: F:\logs
[EndUpdateRecord]
[BeginUpdateRecord][2016/11/02 18:24:14.754][Type:ActivityRecord]
ActivityId: PrepImportDriveCommandContext
StorageAccountKey: *******
[EndUpdateRecord]

常见问题

概况

什么是 WAImportExport 工具？

WAImportExport 工具是可用于 Microsoft Azure 导入/导出服务的驱动器准备和修复工具。 可以使用此工具将数据复制到要寄送到 Azure 数据中心的硬盘驱动器。 导入作业完成后，可以使用此工具修复任何已损坏、丢失或与其他 Blob 冲突的 Blob。 从已完成的导出作业收到驱动器后，可以使用此工具修复驱动器上损坏或丢失的任何文件。

WAImportExport 工具如何在多个源 dir 和磁盘上运行？

如果数据大小大于磁盘大小，WAImportExport 工具将以优化的方式在磁盘之间分配数据。 可以并行或按顺序将数据复制到多个磁盘。 可以同时将数据写入到的磁盘数没有限制。 该工具将根据磁盘大小和文件夹大小分配数据。 它会选择最适合对象大小优化的磁盘。 上传到存储帐户时的数据将聚合回指定的目录结构。

在哪里可以找到以前版本的 WAImportExport 工具？

WAImportExport 工具具有 WAImportExport V1 工具拥有的所有功能。 WAImportExport 工具允许用户指定多个源并写入多个驱动器。 此外，还可以轻松管理多个源位置，其中需要将数据复制到单个 CSV 文件中。 但是，如果需要 SAS 支持或想要将单个源复制到单个磁盘，可以 下载 WAImportExport V1 工具 并参考 WAImportExport V1 参考 ，获取 WAImportExport V1 用法方面的帮助。

什么是会话 ID？

当希望将数据分布到多个磁盘时，该工具要求复制会话 (/id) 参数保持一致。 维护相同的复制会话名称将使用户能够将数据从一个或多个源位置复制到一个或多个目标磁盘/目录。 维护相同的会话 ID 使该工具能够从上次中断的地方继续处理文件。

但是，不能使用相同的复制会话将数据导入到不同的存储帐户。

当复制会话名称在工具的多个运行中相同时，日志文件（/logdir）和存储帐户密钥（/sk）也将相同。

SessionId 可以包含字母、0~9、下划线（_）、短划线（-）或哈希（#），其长度必须为 3~30。

例如 session-1 或 session#1 或 session_1

什么是日志文件？

每次运行 WAImportExport 工具以将文件复制到硬盘驱动器时，该工具都会创建一个复制会话。 复制会话的状态将写入日志文件。 如果复制会话中断（例如，由于系统断电），可以通过再次运行该工具并在命令行上指定日志文件来恢复。

对于使用 Azure 导入/导出工具准备的每个硬盘驱动器，该工具将创建名为“<DriveID>.xml”的单个日志文件，其中驱动器 ID 是与该工具从磁盘读取的驱动器关联的序列号。 需要来自所有驱动器的日志文件才能创建导入作业。 如果工具中断，日志文件还可用于恢复驱动器准备。

什么是日志目录？

日志目录指定要用于存储详细日志和临时清单文件的目录。 如果未指定，则当前目录将用作日志目录。 日志是冗长的日志。

先决条件

磁盘的规格是什么？

连接到复制计算机的一个或多个空 2.5 英寸或 3.5 英寸 SATAII 或 III 或 SSD 硬盘驱动器。

如何在计算机上启用 BitLocker？

检查的简单方法是右键单击系统驱动器。 如果启用该功能，它将向你显示 BitLocker 的选项。 如果它已关闭，则不会看到它。

下面是有关如何启用 BitLocker 的文章

计算机可能没有 TPM 芯片。 如果未使用 tpm.msc 获取输出，请查看下一个常见问题解答。

如何在 BitLocker 中禁用受信任的平台模块 （TPM？

若要在 BitLocker 中禁用 TPM，请执行以下步骤：

1. 通过在命令提示符上键入 gpedit.msc 来启动 组策略编辑器 。 如果 组策略编辑器 似乎不可用，则首先启用 BitLocker。 请参阅前面的常见问题解答。
2. 打开 本地计算机策略 > 计算机配置 > 管理模板 > Windows 组件> BitLocker 驱动器加密 > 操作系统驱动器。
3. 编辑 启动时要求其他身份验证 的策略。
4. 将策略设置为 “已启用” ，并确保选中“ 允许 BitLocker 而不使用兼容的 TPM ”。

如何检查计算机上是否安装了 .NET 4 或更高版本？

所有Microsoft .NET Framework 版本都安装在以下目录中：%windir%\Microsoft.NET\Framework\

导航到目标计算机上需要运行该工具的指定部分。 查找以“v4”开头的文件夹名称。 缺少此类目录意味着计算机上未安装 .NET 4。 可以使用 Microsoft .NET Framework 4 （Web Installer）在计算机上下载 .NET 4。

限制

可以同时准备/发送多少个驱动器？

工具可以准备的磁盘数没有限制。 但是，该工具需要驱动器号作为输入。 这会将它限制为同时进行 25 个磁盘准备。 单个作业一次最多可以处理 10 个磁盘。 如果准备了超过10个面向同一存储帐户的磁盘，则这些磁盘可以分布在多个作业中。

是否可以针对多个存储帐户？

每个作业和单个复制会话只能提交一个存储帐户。

能力

WAImportExport.exe 加密我的数据吗？

是的。 启用 BitLocker 加密，并且此进程需要加密。

在存储帐户中显示数据时，数据层次结构会是什么？

尽管数据分布在磁盘上，但上传到存储帐户的数据将聚合回数据集 CSV 文件中指定的目录结构。

复制进行时，有多少输入磁盘将并行执行活动IO操作？

该工具根据输入文件的大小在输入磁盘之间分配数据。 也就是说，并行活动磁盘的数量完全取决于输入数据的性质。 根据输入数据集中单个文件的大小，一个或多个磁盘可能会并行显示活动 IO。 有关更多详细信息，请参阅下一个问题。

该工具如何跨磁盘分发文件？

WAImportExport 工具逐批读取和写入文件，一个批最多包含 100000 个文件。 这意味着最多可以并行写入 100000 个文件。 如果这 100000 个文件分发到多驱动器，则同时写入多个磁盘。 但是，该工具是同时写入多个磁盘还是单个磁盘取决于批处理的累积大小。 例如，对于较小的文件，如果所有 10,0000 个文件都能够容纳在单个驱动器中，工具将在处理此批处理期间只写入到一个磁盘。

WAImportExport 输出

有两个日志文件，应将哪一个日志文件上传到 Azure 门户？

.xml - 对于使用 WAImportExport 工具准备的每个硬盘驱动器，该工具将创建一个日志文件，其中 <DriveID>.xml DriveID 是与该工具从磁盘读取的驱动器关联的序列号。 需要来自所有驱动器的日志文件才能在 Azure 门户中创建导入作业。 如果工具中断，此日志文件还可用于恢复驱动器准备。

.jrn - 带后缀 .jrn 的日志文件包含硬盘驱动器的所有复制会话的状态。 它还包含创建导入作业所需的信息。 运行 WAImportExport 工具以及复制会话 ID 时，必须始终指定日志文件。

后续步骤

• 设置 Azure 导入/导出工具
• 在导入过程中设置属性和元数据
• 示例工作流，为导入作业准备硬盘驱动器
• 常用命令的快速参考 
• 使用复制日志文件查看作业状态
• 修复导入作业
• 修复导出作业
• Azure 导入/导出工具的故障排除