Как избавиться от OnItemClickListener?

Есть код для выбора пункта меню для удаления позиции с ArrayList:

@Override
public boolean onContextItemSelected(MenuItem item)
{
    switch (item.getItemId())
    {
        case R.id.removeFav:
            listView.setOnItemClickListener(new AdapterView.OnItemClickListener() {
                @Override
                public void onItemClick(AdapterView<?> adapterView, View view, int position, long id) {
                    favoritNews.remove(position);
                    adapter.notifyDataSetChanged();
                    tinyDB.clear();
                    Gson gsonCreate = new Gson();
                    ArrayList<String> gsonString = new ArrayList<>();
                    for(int i = 0; i < Favorites.favoritNews.size(); i++)
                        gsonString.add(gsonCreate.toJson(Favorites.favoritNews.get(i)));
                    tinyDB.putListString("tinyFavoritNews",gsonString);
                    Toast.makeText(Favorites.this, "Позиция удалена из избранного", Toast.LENGTH_SHORT).show();
                }
            });
            break;

Проблема в том, что обновление адаптера происходит не по нажатию на пункт меню, а при повторном кратком нажатии на позицию списка. То есть: длительное нажатие - Удалить - Краткое нажатие - Обновление списка.

Можно ли как-то реализовать поиск позиции массива без использования OnItemClickListener, напрямую через контекстное меню?