数据格式和编码 。 如果文件使用意外的格式或编码，会发生一些很难调试的问题。 例如，源文件可能混用 UTF-16 和 UTF-8 编码，或者包含意外的分隔符（空格与制表符）或意外的字符。 另一个常见例子是包含解释为分隔符的制表符、空格或逗号的文本字段。 数据加载和分析逻辑必须足够灵活，可以检测和处理这些问题。

协调时间切片 。 通常，源数据被放置在反映处理窗口的文件夹层次结构中，并按年、月、日、小时等属性进行组织。 在某些情况下，数据可能延迟到达。 例如，假设某个 Web 服务器发生故障，3 月 7 日生成的日志可能要到 3 月 9 日才会出现在文件夹中供处理。 会不会因为延迟到达而将其忽略？ 下游处理逻辑是否可以处理无序的记录？

批处理体系结构包含以下逻辑组件，如上图所示。

数据存储 。 通常是一个分布式文件存储，可充当大量采用各种格式的大型文件的存储库。 一般情况下，这种类型的存储通常称为 Data Lake。

批处理 。 大数据的庞大性通常意味着，解决方案必须使用长时间运行的批处理作业来处理数据文件，以便筛选、聚合和准备用于分析的数据。 这些作业通常涉及读取源文件、对它们进行处理，以及将输出写入到新文件。

分析数据存储 。 许多大数据解决方案会先准备用于分析的数据，然后以结构化格式提供已处理的数据供分析工具查询。

分析和报告 。 大多数大数据解决方案的目的是通过分析和报告提供对数据的见解。

业务流程 。 使用批处理时，通常需要通过某种业务流程将数据迁移或复制到数据存储、批处理、分析数据存储和报告层。

建议对 Azure 中的批处理解决方案选择以下技术。