当我从AWS移动到Azure DataLake时，如何避免存储此文件？

Question

我正在编写一个Azure函数，将文件从AWS S3移动到Azure Datalake，下载工作正常，上传工作正常，但我很难将两者结合起来，因为我不想将文件存储在中间应用程序中，也就是说，Azure函数本身不需要存储文件，只需将其传递。

解释起来并不容易，所以请耐心听我解释一下我想做什么。

当我用这个代码从S3下载时

await client.GetObjectAsync(new GetObjectRequest { BucketName = bucketName, Key = entry.Key });

我没有一个文件系统来存储它，我不想存储它，我希望它是某种“对象”，我可以直接传递给azure data lake writer，如下所示

adlsFileSystemClient.FileSystem.UploadFile(adlsAccountName, source, destination, 1, false, true);

如果我将其下载到本地磁盘，然后将其上载，代码就可以正常工作，但这不是我想要的，因为azure函数没有存储空间，所以我想将下载的对象直接传递给上载程序

我该如何实现这一点？

****编辑****

// Process the response.
                    foreach (S3Object entry in response.S3Objects)
                    {
                        Console.WriteLine("key = {0} size = {1}", entry.Key.Split('/').Last(), entry.Size);
                        string fileNameOnly = entry.Key.Split('/').Last();

                        //await client.GetObjectAsync(new GetObjectRequest { BucketName = bucketName, Key = entry.Key });
                        GetObjectResponse getObjRespone = await client.GetObjectAsync(bucketName, entry.Key);
                        MemoryStream stream = new MemoryStream();
                        getObjRespone.ResponseStream.CopyTo(stream);

                        if (entry.Key.Contains("MerchandiseHierarchy") == true)
                        {
                            WriteToAzureDataLake(stream, @"/PIMRAW/MerchandiseHierarchy/" + fileNameOnly);
                        }
                    }

然后我将内存流传递给azure方法，但我需要一个streamuploader，我无法fid它，下面的抱怨是它无法将流转换为字符串

adlsFileSystemClient.FileSystem.UploadFile(adlsAccountName, source, destination, 1, false, true);

*编辑2*

更改上传方法如下，它在目的地创建文件，但大小为0，所以我想知道我是否在下载完成之前创建？

static void WriteToAzureDataLake(MemoryStream inputSource, string inputDestination)
        {

            // 1. Set Synchronization Context
            SynchronizationContext.SetSynchronizationContext(new SynchronizationContext());

            // 2. Create credentials to authenticate requests as an Active Directory application
            var clientCredential = new ClientCredential(clientId, clientSecret);

            var creds = ApplicationTokenProvider.LoginSilentAsync(tenantId, clientCredential).Result;

            // 2. Initialise Data Lake Store File System Client
            adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(creds);

            // 3. Upload a file to the Data Lake Store
            //var source = @"c:\nwsys\source.txt";
            var source = inputSource;

            //var destination = "/PIMRAW/MerchandiseHierarchy/destination.txt";
            var destination = inputDestination;

            //adlsFileSystemClient.FileSystem.UploadFile(adlsAccountName, source, destination, 1, false, true);
            adlsFileSystemClient.FileSystem.Create(adlsAccountName, destination, source);


            // FINISHED
            Console.WriteLine("6. Finished!");

        }

Answer 1

更改上传方法如下，它将在目标处创建文件，但大小为0

在写入datalake之前，似乎需要将流位置设置为0。

stream.Position = 0;