тормозит нажатие ListVeiw android

Доброго Впемени суток!!!Возникла проблемма c ListVeiw,повесил на него нажатие

listView.setOnItemClickListener(new AdapterView.OnItemClickListener() {
        //View v = findViewById(R.id.remote_video_progress);
        @Override
        public void onItemClick(AdapterView<?> parent, View view, int position, long id) {
            LayoutInflater inflater = getLayoutInflater();
            dialogView = inflater.inflate(R.layout.activity_remote, null);
            AlertDialog.Builder builder = new AlertDialog.Builder(ServerActivity.this);
            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
                builder.setTitle(phoneNumbers.get(position))
                        .setView(dialogView)
                        .setCancelable(false)
                        .setNegativeButton("ОК",
                                new DialogInterface.OnClickListener() {
                                    public void onClick(DialogInterface dialog, int id) {
                                        dialog.cancel();
                                    }
                                });
            }
            AlertDialog alert = builder.create();
            alert.show();
        }
    });

но к сожалению клик не срабатывает,с первого раза,тоесть приходится долго кликать по элементу,или нажать чуть подержать и отпустить. Я использую SimpleAdapter и собственную разметку для элемента с TextVeiw и ProgressBar(установил на них clickble="false",focusable="false",focusableInTouchMode="false") добавляю элементы из при подключение к этому телефону клиента,а обновляю данные элемента, пришедшие от клиента, в таймере каждую секунду. Где может таится задержка?