Más tarde, decidió estudiar interpretación en el White Barn Theatre de Westport, Connecticut, en 1956 a la edad de 29 años, por lo que se trasladó a Greenwich Village. ´
En 1960 se trasladó a Hollywood para iniciar su carrera en el cine. En 1961, debuta en El sindicato del crimen (Murder, Inc.), interpretación que le vale su primera nominación como mejor actor de reparto al Oscar. Ese mismo año también recibe una nominación a los premios Emmy por su papel de drogadicto en "The Law and Mister Jones".
En 1965, Falk consigue un grado importante de popularidad por su interpretación de Daniel O'Brien en "The trials of O'Brien". Pero no sería hasta la encarnación de un tímido y olvidadizo detective 'Columbo' en la serie del mismo nombre, por lo que Falk llegaría al estrellato.
Pensado como un telefilme, la primera aparición de Columbo fue 'Prescription: Murder' el 20 de febrero de 1968 por NBC y fue un éxito total. Debido a eso, la cadena encargó una segunda película, que se estrenó el 1 de marzo de 1971 bajo el título Ransom for a Dead Man, segundo telefilm de Colombo al que se puede considerar como piloto para la serie que siguió después.
Vestido siempre con la misma gabardina, camisa, corbata y zapatos a lo largo de todos los episodios, Columbo era la antítesis del detective. A pesar de ser despistado y olvidadizo (aunque probablemente fingiéndolo), siempre llegaba al fin de las investigaciones acusando al verdadero culpable.
La inmensa popularidad del personaje tuvo su cénit en 1975, cuando el salario de Falk subió a $ 125.000 (uno de los más altos de la época) por episodio y recibió cinco premios Emmy por su interpretación y un Globo de Oro. "Columbo" finalizó su primera época en 1977-1978. Diez años después, el detective retornó en una serie de telefilmes, aunque sin emitirse con regularidad.
Falk fue alternando su trabajo como detective Columbo con otros proyectos. Es famoso su duelo interpretativo junto a Alan Arkin en la película de Arthur Hiller Los suegros o sus aportaciones a las películas de John Cassavetes (Una mujer bajo la influencia, Un hombre en apuros) o de Wim Wenders' (El cielo sobre Berlín, Tan lejos, tan cerca).
Además, en 1972 obtuvo un premio Tony por su papel en la comedia de Neil Simon The Prisoner of Second Avenue, que interpretó en Broadway.
Además, Falk también se dedicó a la pintura, donde también fue reconocido por la crítica.