“El Tucumano” inició su carrera profesional en Atlético y a principios de la década del '60 pasó a Estudiantes de La Plata, donde vivió la previa de los años dorados de Osvaldo Zubeldía.
Tras permanecer dos años en el “Pincha”, donde jugó 70 partidos, José Rafael Albrecht fue transferido a San Lorenzo para desplegar toda su jerarquía en el Viejo Gasómetro de Boedo.
Como integrante de los Matadores campeones con el DT brasileño Tim, el Tucumano se consolidó como un defensor central férreo, de notable capacidad para el anticipo y una evidente personalidad para marcar presencia en el campo de juego.
No obstante, uno de los rasgos más distintivos de su condición futbolística fue la excepcional virtud para patear penales. Infalible, Albrecht se paraba frente a la pelota casi sin tomar carrera y siempre dejaba al arquero desairado con su remate.
En el San Lorenzo campeón del '68, formó una recordada defensa con el “Sapo” Sergio Villar, Oscar Calics y Antonio Rosl, guardianes del arquero Carlos “Batman” Buttice.
En la Selección Argentina formó dupla con el “Mariscal” Roberto Perfumo, conformando una zaga de temer para los delanteros. Jugó los Mundiales de Chile 62 e Inglaterra 66.
Cuando dejó San Lorenzo, en 1970, completó su carrera en el fútbol mexicano con las camisetas de León (hasta 1974) y Atlas, donde se retiró en el '77.
La Federación Internacional de Historia y Estadística de Fútbol (IFFHS) lo ubicó hace seis años como el séptimo defensor más goleador a nivel mundial.
Con 95 tantos, el Tucumano quedó por debajo del neerlandés Ronald Koeman, Daniel Passarella, el español Fernando Hierro, Edgardo Bauza, el alemán Paul Breitner (103) y el francés Laurent Blanc.