CNTK avaliar transformações de imagem

Esta página descreve algumas possíveis implementações para transformar imagens antes de as avaliar numa CNTK modelo que foi treinada com dados alimentados com o ImageReader. Um exemplo de trabalho é fornecido como parte do programa de exemplo CSEvalClient , em particular refere-se ao EvaluateImageClassificationModel método.

Descrição Geral

O plugin imageReader CNTK permite a alimentação de dados de imagem ao CNTK modelo para treino, teste e avaliação. O ImageReader tem algumas capacidades configuráveis que, quando ativados, executam algumas transformações on-the-fly para os dados de imagem. Estas possíveis transformações são:

Corte
Redimensionar
Aplicação da Média
Intensidade
Cor
Layout (HWC vs CHW)

Avaliação de imagem com CNTK.exe e o Leitor de Imagem

Neste caso, as transformações de imagem podem ser especificadas no ficheiro de configuração, e o Imagereader realizará as transformações definidas.

Avaliação programática de imagem através de EvalDll (EvalWrapper)

Neste caso, as transformações de imagem necessárias têm de ser realizadas programáticamente antes de a imagem ser passada para o Evalwrapper.

Esta secção fornece algumas implementações possíveis para a realização de algumas destas transformações antes da avaliação.

Por exemplo, uma classe estática chamada CntkBitmapExtensions poderia conter os métodos de extensão apresentados abaixo.

Redimensionar

    /// <summary>
    /// Resizes an image
    /// </summary>
    /// <param name="image">The image to resize</param>
    /// <param name="width">New width in pixels</param>
    /// <param name="height">New height in pixesl</param>
    /// <param name="useHighQuality">Resize quality</param>
    /// <returns>The resized image</returns>
    public static Bitmap Resize(this Bitmap image, int width, int height, bool useHighQuality)
    {
        var rect = new Rectangle(0, 0, width, height);
        var newImg = new Bitmap(width, height);

        newImg.SetResolution(image.HorizontalResolution, image.VerticalResolution);

        using (var g = Graphics.FromImage(newImg))
        {
            g.CompositingMode = System.Drawing.Drawing2D.CompositingMode.SourceCopy;
            if (useHighQuality)
            {
                g.InterpolationMode = System.Drawing.Drawing2D.InterpolationMode.HighQualityBicubic;
                g.CompositingQuality = System.Drawing.Drawing2D.CompositingQuality.HighQuality;
                g.SmoothingMode = System.Drawing.Drawing2D.SmoothingMode.HighQuality;
                g.PixelOffsetMode = System.Drawing.Drawing2D.PixelOffsetMode.HighQuality;
            }
            else
            {
                g.InterpolationMode = System.Drawing.Drawing2D.InterpolationMode.Default;
                g.CompositingQuality = System.Drawing.Drawing2D.CompositingQuality.Default;
                g.SmoothingMode = System.Drawing.Drawing2D.SmoothingMode.Default;
                g.PixelOffsetMode = System.Drawing.Drawing2D.PixelOffsetMode.Default;
            }

            var attributes = new ImageAttributes();
            attributes.SetWrapMode(System.Drawing.Drawing2D.WrapMode.TileFlipXY);
            g.DrawImage(image, rect, 0, 0, image.Width, image.Height, GraphicsUnit.Pixel, attributes);
        }

        return newImg;
    }

Neste caso, uma possível invocação poderia ser:

 var testBitmap = new Bitmap(Bitmap.FromFile(@"C:\rocket.bmp")).Resize(224, 224, true);

Este comando redimensionaria a C:\rocket.bmp imagem para um tamanho de 224 x 224 pixels mantendo uma imagem de alta qualidade.

Conversão de layout de HWC para CHW

Existem principalmente dois tipos de layout usados em CNTK: HWC e CHW. O primeiro, HWC é o formato padrão usado em CNTK. O segundo, CHW, é o formato usado pela cuDNN na GPU.

Note que o layout do ficheiro real pode ser diferente. Estamos a olhar para a representação da memória, não para o conteúdo do ficheiro.

Nota, as descrições acima referem-se à notação de fila-grande comumente utilizada onde a dimensão móvel mais rápida vem em último lugar. CNTK geralmente usa notação de coluna-grande que usa a dimensão móvel mais rápida primeiro e onde o abaixo seria expresso como "CWH" e "WHC", respectivamente.

Isto significa que assumindo um bitmap com formato HWC de tamanho 10x10 usando bytes RGB, o espaço de memória corresponderia a:

Offset (byte) :  0  1  2  3  4  5  6  7  8 ...29 30 31 32 33 34 35 36 37 ...
Height Pos    :  0  0  0  0  0  0  0  0  0 ... 0  0  0  1  1  1  1  1  1 ...
Width Pos     :  0  0  0  1  1  1  2  2  2 ... 9  9  9  0  0  0  1  1  1 ...
Color Index   :  B  G  R  B  G  R  B  G  R ... B  G  R  B  G  R  B  G  R ...

No caso da CHW, o layout seria:

Offset (byte) :  0  1  2  3 ... 9 10 11 12 13 ...90 91 92 93 ... 99 100 ... 199 200 ... 299 
Color Index   :  B  B  B  B ... B  B  B  B  B ... B  B  B  B ...  B   G ...   G   R ...   R
Height Pos    :  0  0  0  0 ... 0  0  0  0  0 ... 9  9  9  9 ...  9   0 ...   9   0 ...   9
Width Pos     :  0  1  2  3 ... 9  0  1  2  3 ... 0  1  2  3 ...  9   0 ...   9   0 ...   9

Um possível método de extensão que extraisse os dados de imagem de um Bitmapchw para o layout chw poderia ser:

    /// <summary>
    /// Extracts image pixels in CHW
    /// </summary>
    /// <param name="image">The bitmap image to extract features from</param>
    /// <returns>A list of pixels in HWC order</returns>
    public static List<float> ExtractCHW(this Bitmap image)
    {
        var features = new List<float>(image.Width * image.Height * 3);
        for (int c = 0; c < 3; c++)
        {
            for (int h = 0; h < image.Height; h++)
            {
                for (int w = 0; w < image.Width; w++)
                {
                    var pixel = image.GetPixel(w, h);
                    float v = c == 0 ? pixel.B : c == 1 ? pixel.G : pixel.R;

                    features.Add(v);
                }
            }
        }

        return features;
    }

O Bitmap.GetPixel método cuida de algumas das nuances de layout da memória, permitindo-nos focar na transformação em si.

Este método pode agora ser usado na nossa transformação de imagem antes da avaliação. Assumindo o mesmo mapa bit que em Resize, poderíamos extrair os seus dados no layout chw com a seguinte invocação:

var features = testBitmap.ExtractCHW();

O features vetor pode agora ser usado como uma entrada de camada na classificação de imagem modelo. Um exemplo de trabalho é fornecido como parte do CSEvalClient programa de exemplo, em particular refere-se ao EvaluateImageClassificationModel método.

Last updated on 2017-07-31

Partilhar via