Убрать ненужные пиксели

Есть небольшой скрипт, он прогоняет через себя все пиксели некоторого изображения, сохраняет в ассоциативный массив цвет пикселя и количество пикселей этого цвета.

Проблема в том что скрипт работает очень долго, потому что на картинке встречается огромное количество пикселей с таким цветом, который за всю картинку встречается всего один раз.

Можно ли перед прогонкой изображения или во время неё убрать эти ненужные пиксели что бы скрипт работал быстрее?

<?php
$image = 'img/rgb1.png';
$img = imagecreatefrompng($image);//открываем изображение
$sx = imagesx($img);//находим ширину
$sy = imagesy($img);//находим длину
$colors = array();//создаем массив в котором будем хранить все цвета которые есть на картинке
for ($y = 0; $y < $sy; $y++){
    $y_arr = array();
    for ($x = 0; $x < $sx; $x++){
        $rgb = imagecolorat($img, $x, $y);
        $r = ($rgb >> 16) & 0xFF;
        $g = ($rgb >> 8) & 0xFF;
        $b = $rgb & 0xFF;
        $x_arr = array($r, $g, $b) ;
        $y_arr[] = $x_arr;
    }
    $colors[] = $y_arr; //заполнить массив значениями цветов пикселей
}

//поиск количества пикселей одинакового цвета
$color = array();//создаем массив который будет хранить цвета и их количество
$tm1 = array();//цвет
for ($i = 0; $i < $sx; $i++)
{
    for ($j = 0; $j < $sy; $j++)
    {
        $tmp = 0;//запоминаем количество цветов
        foreach ($color as $value){
            foreach ($value as $val) {
                if ($val == $colors[$i][$j] ) {  //проверка если в масcиве $color уже есть значение такого цвета
                    continue 3;                  //то вsходим из цикла и переходим к другому пикселю
                } else {
                    $tm1 = $colors[$i][$j];      //если такого цвета еще нет запоминаем его значение
                }
            }
        }
        //поиск количества цветов
        for ($ii = 0; $ii < $sx; $ii++)         //если был найден новый цвет то прогоняется веся картинках в поисках
        {                                       //пикселей с таким же цветом
            for ($jj = 0; $jj < $sy; $jj++)
            {
               if ($colors[$ii][$jj] == $tm1)
               {
                   $tmp++;                      // запоминается их количество
               }
            }
        }
        $color[] = [$tmp => $tm1];             //записывается в маcсив
    }
}
print_r($color);