תום פטרובר ואורית שחף נפגשו במהלך שירותם בלהקה צבאית, להקת פיקוד גדנ"ע. הם החלו להופיע כצמד בשם "תום והפצצה" בפאבים ובמועדונים קטנים, עם גרסאות כיסוי ללהקות כמו "פרל ג'אם", "נירוונה", "סטון טמפל פיילוטס" ו"לד זפלין". בשנת 1992 הפך הצמד ללהקת "היהודים". השם הוצע ללהקה על ידי המחזאי אלדד זיו והמפיק המוזיקלי רועי זו-ארץ שגם הפיק ביחד עם שמוליק בודגוב את אלבום הבכורה שלה. בתחילה מנתה הלהקה את פטרובר ושחף בשירה, אבי יפרח בבס, ערן מיטלמן בקלידים, שמוליק בודגוב בגיטרה ואשר פדי בתופים. אמנם, הלהקה הגרעינית גובשה באופן סופי רק בעבודה על האלבום השני בה הצטרפו כחברי להקה יהב ליפינסקי - תופים, אבי סטרול - בס, איציק סולם - גיטריסט וערן מיטלמן - קלידן. חלק מחברי הלהקה מנגנים בה עד היום. באוגוסט 1995 הוציאה הלהקה את אלבומה הראשון, "מציאות נפרדת". בערב יציאת האלבום נערכה הופעתה הראשונה של הלהקה במועדון "הלילה ה-12". האלבום והלהקה זכו לחשיפה ה"ממלכתית" הראשונה שלהם בסרט "צעירים לנצח", סרטו של מיקי בהגן, ששודר לראשונה בערוץ 2 בדצמבר 1996. בפסקול הסרט שובצו 6 שירים של הלהקה, לרבות השיר "הימים שלנו" המושמע בשיאו של הסרט, ונקטע בסצנת תאונת הדרכים החזיתית. לאחר ההתעלמות התקשורתית בה התקבל האלבום, הייתה זו חשיפה משמעותית של הלהקה לקהל. ביולי 1998 הגיע האלבום "מציאות נפרדת" לאלבום זהב, ובהמשך הגיע למעמד פלטינה כפולה. באוגוסט של אותה השנה יצא אלבומה השני של הלהקה, שנשא את שמה, והגיע גם הוא למעמד אלבום זהב. ב-1999 זכתה הלהקה בתואר "להקת השנה" של גלי צה"ל. ביולי באותה שנה פתחה הלהקה את הופעתה של להקת מטאליקה באמפיפארק בראשון לציון, ובשנת 2000 את הופעתה של רייג' אגיינסט דה מאשין בארץ. בתחילת 2001 החלה הלהקה להקליט את אלבומה השלישי, "פחד מוות", שיצא לאור ב-9 ביולי 2002. ב-14 באוגוסט 2003 הוציאה הלהקה אלבום כפול ו-DVD שתיעדו הופעה במועדון התיאטרון ביפו ב-17 בינואר של אותה שנה. זמן קצר לאחר מכן עזב יפתח שחף (גיטרה חשמלית) את הלהקה והוחלף על ידי שני גיטריסטים - דניאל ברכר וגיא באר. הופעתם הראשונה בהרכב הייתה באמפי וואהל בתל אביב, ב-23 באוגוסט 2003. ב- 2004 הופיעה הלהקה במופע אקוסטי חד פעמי בהיכל התרבות בתל אביב. ההופעה הוקלטה, ובמהלך אותה השנה יצא אלבום ההופעה, "Unplugged", שתיעד את אותה הופעה. האלבום גרף הצלחה רבה, במיוחד בשל השיר "אם כבר", שהושמע רבות ברדיו. במאי 2007, יצא לאור הסינגל הראשון מתוך האלבום הרביעי, "פורטה", "אין לך מקום". האלבום יצא לאור ביום שישי ה-13 ביולי 2007, וכלל 15 שירים, מתוכם 4 באנגלית. האלבום זכה בתואר "אלבום השנה" בטקס פרסי עמ"י ה-4 של ערוץ 24, ובמרץ 2008 הגיע למעמד אלבום זהב, לאחר שנמכרו ממנו למעלה מ-20,000 עותקים. במהלך הופעה בפסטיבל "רוק עצמאות" הודיעו חברי הלהקה על עזיבתו של אבי סטרול, שהוחלף בניר מימון. בשנת 2009 החלו היהודים בסיבוב הופעות אקוסטי, "היהודים בישיבה", שכלל עשרות הופעות ברחבי הארץ. מתוך סיבוב ההופעות הוצא ב-2009 סינגל המכיל גרסה אקוסטית לשיר "כל הסיפור" וב-2010 הסינגל "אצלך בעולם" (גרסת כיסוי לשירו של מאיר בנאי), אשר זכה להצלחה רבה. ב-10 ביולי 2010 הופיעו היהודים לראשונה באמפי קיסריה ואירחו על הבמה את שלום חנוך. ב-21 באוקטובר של אותה שנה הופיעו היהודים במשכן לאמנויות הבמה בתל אביב, בליווי מקהלת האופרה הישראלית, במסגרת פסטיבל תל אביב למוזיקה. ב-5 במאי 2013 הופיעו היהודים בהיכל התרבות ראשון לציון בשילוב מופע בלט עם כוראוגרפיה מאת עידו תדמור, במסגרת פסטיבל האביב הבינלאומי של ראשון לציון.ב-14 באוגוסט 2014 יצא לאור הסינגל "זוג יונים" שהיה הראשון מתוך אלבום האולפן החמישי של הלהקה אשר יצא באוגוסט 2015 תחת השם יותר לא. בדצמבר 2019 השתתפו תום פטרובר ואורית שחף בקמפיין הטלוויזיה לאפליקציית הקניות ברשת Quik. זו הפרסומת הראשונה אי פעם אותה מבצעים חברי ההרכב. בשנת 2021 השתתפה אורית שחף בסרט ״הברך״ של נדב לפיד. בסצנה בו השתתפה נראית שחף בחדר חזרות יחד עם נגן גיטרה נוסף, מבצעת את השיר "ניצוצות" של פורטיסחרוף. השניים מציגים את עצמם כהרכב בשם "הכל קאברים".

תום פטרובר - סולן ויוצר ראשי אורית שחף - סולנית. שחף כתבה והלחינה את מקצת השירים, והיא אחראית לחלק גדול מהעיצובים של אלבומי הלהקה יהב ליפינסקי - תופים איציק סולם - גיטריסט, שב ללהקה לאחר עזיבתו של גיא באר ערן מיטלמן - קלידים, שב ללהקה לאחר עזיבתו של רועי זו-ארץ גרג פרל - גיטרה בס