הרצל שפיר נולד בארץ בשנת 1929. בשנות הנעורים התגייס ככל חבריו לפלמ"ח, ועם פרוץ מלחמת השחרור שירת בחטיבת יפתח, ולחם בשורה ארוכה של קרבות. במהלך שנה וחצי של מלחמה הוכשר כלוחם, כמ"כ וכקצין. בתקופה זו לא ביקר בביתו אפילו פעם אחת. בתום המלחמה נישא לאורה, חברתו שמכבר הימים מהפלמ"ח. לזוג נולדו שלושה ילדים. אורה נפטרה ממחלת הסרן בשנת 1978, וכעבור עשור נישא שפיר בשנית לסיגלית.
בשנת 1950, לאחר שהשתחרר משירות סדיר, הוצב שפיר כמפקד פלוגה בחטיבת חי"ר במילואים. כחודשיים לאחר מכן במהלך תרגיל מילואים פלוגתי עליו פיקד בהצלחה, בו צפה הרמטכ"ל, קיבל שפיר הצעה להצטרף לשירות קבע, ולעבור קורס מג"דים. שפיר היה בן 21, בדרגת סגן, והיה לקצין המילואים הראשון שעבר קורס זה. שפיר שירת בקשת רחבה של תפקידי פיקוד ומטה. בלטו במיוחד יכולותיו לתת פתרונות מהירים לבעיות בשטח, נטייתו לחשיבה אסטרטגית וראייה כוללת ומעמיקה.
במלחמת יום הכיפורים שירת בתפקיד ראש אגף כוח אדם בצה"ל, שהותיר עליו חותם עמוק: "אני לא מאחל לאף אחד בעם הזה לעבור את מה שאני עברתי… לו הייתי יכול להחליף מאה ימים בחזית לעומת יום אחד כראש אכ"א, הייתי עושה זאת. לטפל בכל אותן משפחות חללים, לטפל בכל נושא הנעדרים, לטפל בכל נושא השבויים". בסיום המלחמה עמד שפיר בראש המשלחת הישראלית לשיחות הפסקת האש וההיערכות מחדש עם מצרים וסוריה בז'נבה.
לאחר המלחמה מונה שפיר לתפקיד ראש אג"ם וסגן הרמטכ"ל, ובמסגרת תפקידו פיתח תוכנית רב-שנתית לשיקום, אגון וחימוש צה"ל, שספג מכה לא פשוטה במלחמה. במרץ 1976 מונה למפקד פיקוד הדרום, ובסוף שנת 1977 השתתף במשלחת הישראלית לשיחות השלום הראשונות עם מצרים.
השכלתו האקדמית כוללת תואר ראשון בכלכלה ובגיאוגרפיה באוניברסיטה העברית, וכן לימודים במסגרת בית הספר לפיקוד בבריטניה. בשנת 1978, לקראת סיום שירותו בצה"ל יצא לחופשת לימודים באוניברסיטת סטנפורד בארה"ב.
במהלך חופשתו קיבל הצעה משר הפנים דאז, יוסף בורג, לכהן בתפקיד המפקח הכללי השביעי של משטרת ישראל. לאחר שקבל עליו את התפקיד, ובטרם כניסתו הרשמית, שפיר עבר בתחנות וביחידות משטרה בארץ ובעולם כדי ללמוד על עבודת המשטרה לעומק: "החלטתי ללמוד את המשטרה מלמטה כלפי מעלה…לא היה לי ספק שצריך לעשות תכנית רב שנתית מקיפה…
תמונת המצב הייתה חסרה לי, ולכן החלטתי לבקר וללמוד מרמת התחנות, לא הייתה תחנת משטרה שלא ביקשתי ממנה להגיש לי ממצאים על איך היא עובדת, ואחרי זה עברתי לרמת המרחבים והמחוזות. מפקד המחוז הסביר לי מלמטה ועד למעלה".
בתאריך 1 לינואר 1980 מונה הרצל שפיר למפקח הכללי השביעי של משטרת ישראל. לאחר שסיים את תחקיר העומק והלמידה הארגונית הוביל את ניסוח "תכנית תירוש" (תכנון רב שנתי), התוכנית האסטרטגית הרב-שנתית הראשונה בתולדות משטרת ישראל. מעיקרי התוכנית היו היעדים: הרחבת הפריסה המשטרתית; יצירת בטחון בציבור ואמון במשטרה; תכנון פריסת המשטרה במגזר הערבי; מהפכה ארגונית ואיוש מחדש של כלל מערך ההדרכה; בניית תוכניות עבודה שיטתיות ועוד.
אחד השינויים המרכזיים שנערכו במשטרה היה בהקמת האגף לכוח האדם (אכ"א), אשר נתן ביטוי לרצון לחזק ולטפח את השוטרים וכך להוביל לשיפור פעילות המשטרה.
בתחום ההדרכה שפיר הביא לפתיחתם של שני בתי ספר משטרתיים חדשים: בית הספר לכושר מבצעי (בסכ"מ) ובית הספר לנהיגה משטרתית. בתי ספר אלו הוקמו מתוך ראיית תחומי הכושר הגופני והנהיגה ככלים בסיסיים והכרחיים בארגז הכלים של השוטר.
שפיר סיים את תפקידו מוקדם מן הצפוי כתוצאה מעימות עם השר הממונה בורג. שפיר ניסה לפתור את בעיית העמימות בסמכויות משרד הפנים על-ידי עיגון סמכויות המטה הארצי ומשרד הפנים בנהלים ברורים. הדבר עורר התנגדות עזה במשרד הפנים. העימות התעצם עם חשיפתה של פרשה שכונתה "תיק אפרסק", הקשורה במעורבות של משרד הפנים בהעברת כספים למוסדות דת שלא כדין. היה זה למעשה תיק ידיעות ראשוני על אישים ומפלגות, שלא החלו בו פעולות חקירה מעשיות. בתאריך 31 לדצמבר 1980 פוטר שפיר מתפקידו בידי שר הפנים יוסף בורג שטען ששפיר לא דיווח לו אמת. מהלך זה זכה לביקורת רבה, במיוחד בקרב האופוזיציה.
יותר מכול ייזכר שפיר כמי שקידם רבות את נושא ההיערכות והתכנון הרב-שנתיים במשטרה. רבות מן המשימות והיעדים שהציבה תכנית תירוש מומשו, ונותרו על כנם שנים רבות אחר-כך.
לאחר פרישתו מילא שפיר שורה של תפקידים בעיקר במוסדות ממלכתיים.