מקהלת הרבנות הצבאית הראשית הוקמה בשנת 1967 על מנת לחזק את הקשר של החיילים להווי הדתי ולתרבות היהודית השורשית. המקהלה נהגה להופיע בפני חיילי צה"ל במהלך ימי השבוע ובשבתות וחגים הופיעה המקהלה בבתי הכנסת הצבאיים, על מנת לחזק את נוסח התפילה האחיד בצה"ל.

רפרטואר המקהלה כלל מתחילת דרכה שירים חסידיים, שירים מסורתיים ומבחר משירי העם והתקופה תחת ניהולו של מנשה לב-רן, המנצח, המעבד והמדריך המוסיקלי של המקהלה, שהצליח להכניס רוח מיוחדת בבחירת הרפרטואר ובעיבודיו לשירים השונים.

לאחר מלחמת ששת הימים, העלתה המקהלה את תכניתה הראשונה ועד לאחר מלחמת יום הכיפורים הקליטה ארבעה אלבומים עם שירי ארבע תכניות.

בשנת 1974 הצטרף ללהקה הזמר ציון גולן, שכוכבו בשמי השירה התימנית דרך עוד טרם גיוסו לצה"ל. השתלבותו בלהקה הביאה לשינוי משמעותי בשינוי סגנון השירה, והמוסיקה התימנית הפכה לחלק נכבד מהרפרטואר של הלהקה.

ב-1977 יצא אלבום אוסף של המקהלה ובו שולבו ארבעה שירים חדשים.

המקהלה מופיעה כיום בטקסים ואירועים צבאיים, בחידון התנ"ך לתפוצות וחידון התנ"ך הבינלאומי. מכיוון שהמקהלה היא הלהקה הצבאית היחידה ללא זמרות, היא מופיעה בטקסים צבאיים שונים כגון השבעות, טקסי סיום מסלול וכדומה בעיקר ביחידות הלוחמות, בהן יש אחוז גבוה של חיילים ומפקדים דתיים ובני משפחותיהם.

הבולטים מבין בוגרי מקהלת הרבנות הם בני רוזנבאום וישראל גוטסדינר, שהקימו לאחר שחרורם מצה"ל את "צמד רעים", ציון גולן, משה גיאת וכמובן, דודו פישר.