Carlos Marx nació el 5 de mayo de 1818 en Tréveris, una ciudad de la provincia del Rin del antiguo Reino de Prusia. Era descendiente de judíos. Poco se sabe sobre su infancia. Se educó en casa hasta que en 1830 entró en el Instituto de Tréveris donde su maestro, Hugo Wyttenbach, amigo de su padre, había empleado a muchos humanistas liberales como profesores, algo que enfureció al gobierno.