באייר תשמ"ו נבחר הגרי"ד גרוסמן לראשונה למועצת הרבנות הראשית, לאחר שהתבקש על ידי גדולי ישראל דאז, מרנן הגרי"ש אלישיב, הגר"ע יוסף והגר"ש וואזנר זצ"ל - להגיש מועמדותו לחיזוק מוסד הרבנות הראשית דישראל | בטקס שנערך בבית הנשיא, חזר הגרי"ד גרוסמן על סיסמת חייו: "כולנו יהודים, אין דתיים וחילונים, אין אשכנזים וספרדים, כולנו אחים ומבקשים מבורא העולמים 'ברכנו אבינו כולנו כאחד יחד'" (בארץ, חרדים)
