ADF V2所需的Blob缺少通配符文件夹路径和通配符文件名。
创始人
2024-07-27 07:30:44
0

在ADF V2中,如果想要在Blob存储中使用通配符文件夹路径和通配符文件名,可以通过以下步骤实现:

  1. 在ADF管道中添加一个Copy活动。
  2. 在Copy活动中配置“源数据集”和“目标数据集”。
  3. 在“源数据集”中选择Blob存储,并指定一个容器。
  4. 在“文件路径”字段中输入通配符文件夹路径和通配符文件名。例如,可以使用通配符“folder/path/*.csv”来匹配文件夹路径为“folder/path/”下的所有以“.csv”结尾的文件。
  5. 在“目标数据集”中选择Blob存储,并指定一个容器。
  6. 在“文件路径”字段中输入目标文件夹路径和文件名。可以使用通配符来动态创建文件名。例如,可以使用通配符“output/folder/{*}.csv”来创建以源文件名为基础的目标文件。

以下是一个示例ADF V2的JSON代码,展示了如何使用通配符文件夹路径和通配符文件名:

{
  "name": "CopyData",
  "type": "Copy",
  "inputs": [
    {
      "referenceName": "SourceBlobDataset",
      "type": "DatasetReference"
    }
  ],
  "outputs": [
    {
      "referenceName": "DestinationBlobDataset",
      "type": "DatasetReference"
    }
  ],
  "typeProperties": {
    "source": {
      "type": "BlobSource",
      "recursive": true,
      "wildcardFileName": "*.csv",
      "folderPath": "folder/path/"
    },
    "sink": {
      "type": "BlobSink",
      "writeBatchSize": 0,
      "writeBatchTimeout": "00:00:00",
      "allowOverwrite": true,
      "blobWriterAddHeaders": true,
      "folderPath": "output/folder/{fileName}"
    }
  }
}

请注意,在源和目标数据集中,必须正确配置Blob存储的连接信息,并确保所需的权限已设置。

相关内容

热门资讯

Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
Android - 无法确定任... 这个错误通常发生在Android项目中,表示编译Debug版本的Java代码时出现了依赖关系问题。下...
Android - NDK 预... 在Android NDK的构建过程中,LOCAL_SRC_FILES只能包含一个项目。如果需要在ND...
Akka生成Actor问题 在Akka框架中,可以使用ActorSystem对象生成Actor。但是,当我们在Actor类中尝试...
Agora-RTC-React... 出现这个错误原因是因为在 React 组件中使用,import AgoraRTC from “ago...
Alertmanager在pr... 首先,在Prometheus配置文件中,确保Alertmanager URL已正确配置。例如:ale...
Aksnginxdomainb... 在AKS集群中,可以使用Nginx代理服务器实现根据域名进行路由。以下是具体步骤:部署Nginx i...
AddSingleton在.N... 在C#中创建Singleton对象通常是通过私有构造函数和静态属性来实现,例如:public cla...
Alertmanager中的基... Alertmanager中可以使用repeat_interval选项指定在一个告警重复发送前必须等待...