将函数卸载到Intel Xeon Phi所需的时间

Question

卸载调用将函数的数据（参数）从主机传输到Intel MIC（Xeon Phi协处理器3120系列）是否需要预定义的时间？

具体地说，我对要在mic上执行的函数进行卸载调用（“#pragma offload target（mic）”）。该函数有15个参数（指针和变量），我已经确认了参数在MIC上的正确传递。然而，为了检查参数传递的时间，我简化了代码，因此它只包含一个简单的“printf（）”函数。我使用“sys/time.h”头文件的“gettimeofday（）”来测量时间，如下代码所示：

主机的一些硬件信息：Intel（R）Core（TM）i7-3770 CPU@3.40GHz/CentOS版本6.8/PCI Express修订版2.0

主. c

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/time.h>
#include <string.h>

__attribute__ (( target (mic))) unsigned long long ForSolution = 0;
__attribute__ (( target (mic))) unsigned long long sufficientSol = 1;
__attribute__ (( target (mic))) float timer = 0.0;

__attribute__ (( target (mic))) void function(float *grid, float *displ, unsigned long long *li, unsigned long long *repet, float *solution, unsigned long long dim, unsigned long long numOfa, unsigned long long numLoops, unsigned long long numBlock, unsigned long long thread, unsigned long long blockGrid, unsigned long long station, unsigned long long bytesSol, unsigned long long totalSol, volatile unsigned long long *prog);

   float    *grid, *displ, *solution;
   unsigned long long   *li,repet;
   volatile unsigned long long  *prog;
   unsigned long long dim = 10, grid_a = 3, numLoops = 2, numBlock = 0;
   unsigned long long thread = 220, blockGrid = 0, station = 12;
   unsigned long long station_at = 8, bytesSol, totalSol;

   bytesSol = dim*sizeof(float);
   totalSol = ((1024 * 1024 * 1024) / bytesSol) * bytesSol;



   /******** Some memcpy() functions here for the pointers*********/                   



gettimeofday(&start, NULL);

   #pragma offload target(mic) \
        in(grid:length(dim * grid_a * sizeof(float))) \
        in(displ:length(station * station_at * sizeof(float))) \
        in(li:length(dim * sizeof(unsigned long long))) \
        in(repet:length(dim * sizeof(unsigned long long))) \
        out(solution:length(totalSol/sizeof(float))) \
        in(dim,grid_a,numLoops,numBlock,thread,blockGrid,station,bytesSol,totalSol) \
        in(prog:length(sizeof(volatile unsigned long long))) \
        inout(ForSolution,sufficientSol,timer)
   {
        function(grid, displ, li, repet, solution, dim, grid_a, numLoops, numBlock, thread, blockGrid, station, bytesSol, totalSol, prog);
   }

    gettimeofday(&end, NULL);  

    printf("Time to tranfer data on Intel Xeon Phi: %f sec\n", (((end.tv_sec - start.tv_sec) * 1000000.0 + (end.tv_usec - start.tv_usec)) / 1000000.0) - timer);
    printf("Time for calculations: %f sec\n", timer);

作用c

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/time.h>
#include <string.h>
#include <omp.h>

void function(float *grid, float *displ, unsigned long long *li, unsigned long long *repet, float *solution, unsigned long long dim, unsigned long long numOfa, unsigned long long numLoops, unsigned long long numBlock, unsigned long long thread, unsigned long long blockGrid, unsigned long long station, unsigned long long bytesSol, unsigned long long totalSol, volatile unsigned long long *prog)
{
    struct timeval      timer_start, timer_end;

    gettimeofday(&timer_start, NULL);

printf("Hello World!!!\n");


    gettimeofday(&timer_end, NULL);

    timer = ((timer_end.tv_sec - timer_start.tv_sec) * 1000000.0 + (timer_end.tv_usec - timer_start.tv_usec)) / 1000000.0 ;  
}

终端结果：

Time to tranfer data on Intel Xeon Phi: 3.512706 sec
Time for calculations: 0.000002 sec
Hello World!!!

代码需要3.5秒才能完成“卸载目标”。上述结果正常吗？是否有任何方法可以减少卸载呼叫的显著时间延迟？

Answer 1

让我们看看这里的步骤：

a）对于第一个#pragma offload，MIC被初始化；这可能包括重置它、启动一个精简的Linux（等待它启动所有CPU、初始化它的内存管理、启动一个psuedo-NIC驱动程序等），并将您的代码上传到设备。这可能需要几秒钟。

b） 所有输入数据均上传至话筒。

c）函数被执行。

d） 所有输出数据都是从麦克风下载的。

对于PCI Express 2.0版（x16）上的原始数据传输，最大带宽为8 GB/s；但是，您无法获得最大带宽。据我所知，与Phi的通信涉及共享的环形缓冲区和“门铃”IRQ，两侧都有“伪NIC”驱动程序（在主机上和协处理器的操作系统上）；由于所有的握手和开销，如果你得到的带宽只有最大带宽的一半，我会感到惊讶。

我认为上传的代码、上传的数据和下载的数据总量远远超过1 GiB（例如，out（解决方案：length（totalSol/sizeof（float）））本身就是1 GiB）。如果我们假设“大约4 GiB/s”，那至少还要250 ms。

我的建议是每件事都做两次；测量第一次（包括初始化所有内容）和第二次（所有内容都已经初始化）之间的差异，以确定初始化协处理器需要多长时间。第二次测量（减去执行函数的时间）将告诉您数据传输花费了多长时间。