Harem denince akla cinsellik gelir, ancak Harem-i Hümâyûn padişahın evi ve bir eğitim kurumudur.
Harem ağaıda bu kurumda yüksek yöneticilerden biridir.

Osmanlı sarayı üç bölümden meydana geliyordu: Harem, Birun ve Ende*run. Harem-i Hümâyûn, Harem’le birlikte Enderun’u içerisine alır. Enderun, Osmanlı İmparatorluğu’nun erkek yöneticilerinin yetiştiği üst düzey bir okuldu. Harem ise kadın yöneticilerin yetiştiği bir mektepti.

Osmanlı tarihinde, hadımlardan birçok vezir, vali ve veziriazam çıkmış ve bunlar hadım ünvanıyla anılmıştır. Atik Ali Paşa, Hadım Sinan Paşa, Hadım Süleyman Paşa, Hadım Hasan Paşa, veziriazamlığa kadar yükselmiş hadım*lardandı.

Darüssaade ağaları, padişahla yakınlıklarından dolayı birçok gelire sahip*tiler. Bu yüzden Harem ağaları, birçok cami, mescid, okul gibi hayır kurumları yaptırmışlardır.

Harem ağaları azledildikten sonra, genellikle Mısır’a gönderilir ve burada kendilerine “azatlık” adı altında emekli maaşı bağlanırdı. Bazı hadım ağaları, görevdeyken geleceklerini düşünerek Mısır’da araziler satın almışlardır. İstanbul’da vefat edenler, Üsküdar’da Seyyid Ahmed Deresi civarında Pilavcı Bayırı’ndaki kabristana gömülürlerdi.
İmparatorluğun son zamanlarında İstanbul'da kalan harem ağalarıda olmuştur.
Nitekim Sultan Abdülhamit'in Harem ağası Nadir Ağa bunlardan biridir.

Harem ağaları, Tanzimat’tan sonra yetkilerinin çoğunu kaybettiler. Tanzimat’tan sonra Evkaf-ı Hümâyûn Nezareti’nin kurulmasıyla, Darüssaade ağasının elindeki vakıflar alındı. II. Meşrutiyet’ten sonra ise iyice etkisizleştiler. Son Harem ağası, Said Ağa idi.