Hz. Ebubekir de kendinden sonra halife olarak Hz. Ömer'i önerdi. Hz. Ömer ise bir seçiciler kurulu oluşturarak kendinden sonraki halifenin seçimini bu kurula bıraktı. Hz. Osman bu yöntemle seçildi. Hz. Osman döneminde (644-654) baş gösteren siyasal çekişmeler halifelik kurumunu da etkiledi. Onun ölümünden sonra yeni halife seçimi başlı başına sorun oldu. Müslümanlar'ın bir bölümü Hz. Ali'yi halife tanırken, bir bölümü buna karşı çıktı. İslam toplumunda bir iç savaşa yol açan bu çekişmeler Hz. Ali'nin öldürülmesinden sonra daha büyük boyutlara ulaştı.
Şiiler de Hz. Ali soyundan gelen kişileri halife olarak tanımış ve bunlara imam demişlerdir. Hariciler ise her iki topluluğa karşı da çok sert davrandıklarından aynı sertlikte karşılık görmüş, kıyıma uğramışlardır. Bundan sonra hukukçular bir kişinin zorla da olsa halife olması ve halkın da bunu kabul etmesi durumunda halifeliğin meşru sayılması görüşünü ortaya atmışlardır. Nitekim Abbasiler de halifeliği bu yolla Emeviler'den almışlardır. Şii kökenli Fatımiler 920'de Tunus'u ele geçirdiklerinde ayrı bir halifelik merkezi yaratmışlar, buna karşılık Endülüs Emevi Hükümdarı III. Abdurrahman da 929'da kendini halife ilan etmiştir. Bu dönemde İslam dünyasında üç halife ile bir de Şii imam aynı zamanda var olmuştur. Bu karışıklık Endülüs Emevileri ile Fatımiler'in tarih sahnesinden silinmeleriyle azalır gibi olmuş, 1258'de Bağdat'ı ele geçiren Moğollar'ın Abbasi Halifeli-ği'ne son vermeleriyle de yeni bir biçim almıştır.
Mısır'a sığınan Abbasi halifelerinden Zahir'in (1225-26) oğlu Ahmed, Memlûklar tarafından halife olarak ilan edilmiştir. Bundan sonra halifelik Sünni Müslümanlar arasındaki birliği simgeleyen göstermelik bir kurum olmuş, dünyasal görevleri yerine getirme gücü sultanların eline geçmiştir. Osmanlı Padişahı Yavuz Sultan Selim 1517'de Mısır'ı alıp Memlûk egemenliğine son verince Halife III. Mütevekkil'den halifeliği devralmış, Kahire'de korunan kutsal emanetleri de İstanbul'a getirmiştir. Bununla birlikte Osmanlı padişahları uzun süre halife sanını kullanmamışlar, ancak devlet parçalanmaya başlayınca Müslümanlar'ın birliğini simgeleyen bu kurumdan yararlanmaya çalışmışlardır. Pek de başarılı olmayan bu çabalardan sonra Türkiye'nin doğuş süreci içerisinde, Türkiye Büyük Millet Meclisi önce 1922'de saltanat ile halifeliği birbirinden ayırarak saltanata son vermiş, 3 Mart 1924'te yürürlüğe giren bir yasayla da halifeliği kaldırmıştır.