Оптимизация цикла в 10 000 000 повторов

Мой код

    public static class Canal
    {
        public static List<byte> A = new List<byte>();
        public static List<byte> R = new List<byte>();
        public static List<byte> G = new List<byte>();
        public static List<byte> B = new List<byte>();
    }
    public static void Load()
    {
        using (var fs = new FileStream("Canal_A.txt", FileMode.Open))
        {
            var array = new byte[(int)fs.Length];
            fs.Read(array, 0, (int)fs.Length);
            Canal.A.AddRange(array);
        }
        using (var fs = new FileStream("Canal_R.txt", FileMode.Open))
        {
            var array = new byte[(int)fs.Length];
            fs.Read(array, 0, (int)fs.Length);
            Canal.R.AddRange(array);
        }
        using (var fs = new FileStream("Canal_G.txt", FileMode.Open))
        {
            var array = new byte[(int)fs.Length];
            fs.Read(array, 0, (int)fs.Length);
            Canal.G.AddRange(array);
        }
        using (var fs = new FileStream("Canal_B.txt", FileMode.Open))
        {
            var array = new byte[(int)fs.Length];
            fs.Read(array, 0, (int)fs.Length);
            Canal.B.AddRange(array);
        }
    }
    public void F()
    {
        var color = new List<Color>();
        for (int i = 0; i <Canal.A.Count; i++)
        {
            color.Add(Color.FromArgb(Canal.A[i], Color.FromArgb(Canal.R[i], Canal.G[i], Canal.B[i])));
        }
    }

У меня в файлах раздельно хранится ARGB каналы картинки. Я считываю все каналы, потом создаю из них цвета, затем из цветов делаю картинку. Все работает. Но когда я вызываю F() то цикл отжерает около 1 Гб оперативки, в зависимости от размера картинки, и при этом память не освобождается после отработки функции. Как результат каждый вызов функции + 1 Гб занятой оперативы(( Как это можно оптимизировать? Я так понял что память отжерает из за того что цикл больше 10 мил раз отрабатует, но почему тогда после отработки память остается забитой?

Вот полная функция, больше программа не делает ничего.

    public static void Decoder(string fileName)
    {
        var color = new List<Color>();
        Load();
        for (int i = 0; i < Canal.A.Count; i++)
        {
            color.Add(Color.FromArgb(Canal.A[i], Color.FromArgb(Canal.R[i], Canal.G[i], Canal.B[i])));
        }
        Console.WriteLine(".....");
        using (var bmp = new Bitmap(fileName))
        {
            int counter = 0;
            for (int i = 0; i < bmp.Height; i++)
            {
                for (int j = 0; j < bmp.Width; j++)
                {
                    bmp.SetPixel(j, i, color[counter]);
                    counter++;
                }
            }
            bmp.Save($"_{fileName}");
        }
        color.Clear();
        Console.WriteLine("FINISH");
    }