Du könntest versuchen den zu löschenden Kontakt durch Tippen und Halten anzuwählen.
Ansonsten könntest du versuchen, den Kontakt zu exportieren und wieder zu importieren, um so eventuell dafür zu sorgen, dass der häufig angewählte Kontakt verschwindet.