Ness nació en Chicago, hijo de Peter y Emma Ness, panaderos noruegos. Estudió en la Universidad de Chicago, graduándose en 1925 en las especialidades de Negocios y Derecho. Empezó su carrera como investigador para la Retail Credit Co., de Atlanta. Se le asignó el territorio de Chicago, donde dirigió las investigaciones de fondo con el propósito de dar información de crédito. Regresó a la universidad para tomar un curso en criminología, y obtuvo una Maestría (Máster) en la materia.

En 1926, el esposo de su hermana mayor, Clara, Alexander Jamie, un agente del FBI, le aconseja ingresar en el sistema penal. En 1927 Ness se unió al Departamento del Tesoro, trabajando con los 300 fuertes de la Oficina de Prohibición de Chicago.

Luego de la elección del presidente Herbert Hoover, Ness fue totalmente encargado de detener a Al Capone. El gobierno federal abordó el problema desde dos direcciones: evasión de impuestos y contrabando de alcohol. Ness fue escogido para encabezar las operaciones relacionadas con el contrabando de alcohol, apuntando a las cervecerías ilegales y las rutas de suministro de Capone.

Con la corrupción reinante entre los agentes de policía, Ness examinó los registros de todos los agentes del tesoro para formar un equipo fiable, inicialmente de cincuenta, más tarde reducido a quince y finalmente a solamente nueve hombres. Muchas redadas contra destilerías y cervecerías comenzaron inmediatamente; en menos de seis meses Ness clamaba haber descubierto cervecerías que generaban más de un millón de dólares de ganancias. La principal fuente de información para las redadas era una extensa operación de intervención de teléfonos.

Una tentativa de Capone de sobornar a los agentes de Ness fue aprovechada por Ness como publicidad, obteniendo para su equipo el apodo de «Los Intocables» por parte de los medios de comunicación. Hubo varias tentativas de asesinato sobre Ness y uno de sus amigos íntimos, Cam Allison, fue asesinado.

Los esfuerzos de Ness y su equipo tuvieron un serio impacto sobre las operaciones de Capone; sin embargo, la evasión de impuestos era el arma clave. En un cierto número de grandes procesos federales llevados a cabo en 1931, Capone fue acusado de veintidós casos de evasión fiscal y de cerca de cinco mil violaciones de la Ley Volstead (prohibición de vender alcohol). El 17 de octubre de 1931, Capone fue condenado a once años y, después de una apelación fracasada, comenzó su sentencia en 1932.

Ness fue promovido a Investigador Principal de la Oficina de Prohibición para Chicago y en 1934 para Ohio. Después del final de la Ley Seca en 1935, accedió al puesto de Director de Seguridad Pública en la administración local de Cleveland. Dirigió una campaña para limpiar de corrupción los cuerpos de policía y bomberos, y también abordar el juego ilegal y otros entretenimientos. La inhabilidad de Ness para capturar al «asesino de los torsos» de Cleveland (el primer serial killer de Estados Unidos), un asesino en serie vicioso que actuaba en el área de Cleveland durante mediados de los años 1930, también puede haber contribuido a su salida de lo que hubiera sido de otra manera una carrera razonablemente acertada en Cleveland. Dimitió en 1942, después de un supuesto accidente de coche. Se dice que había conducido bajo la influencia del alcohol.

Ness se mudó entonces a Washington, DC y trabajó para el Gobierno Federal. En 1944 se marchó para ocupar el cargo de presidente de la Diebold Corporation, una empresa de sistemas de seguridad situada en Ohio. Se postuló sin éxito para alcalde de Cleveland en 1947 y fue despedido de su trabajo en Diebold el mismo año. Más tarde se trasladó a Coudersport, Pensilvania, para trabajar en el North Ridge Industrial. Su libro, Los Intocables (The Untouchables), fue publicado en 1957, poco antes de su muerte a los 54 años debido a un infarto.

Estuvo casado tres veces, divorciándose dos veces. También tuvo un hijo adoptivo, Robert. Sus cenizas fueron dispersadas en una de las pequeñas charcas sobre las tierras del cementerio Lakeview en Cleveland.