Albert Fish nació en Washington, Estados Unidos el 19 de mayo de 1870, llegó al mundo en el seno de una familia con un amplio historial de problemas mentales. Su padre, 43 años más viejo que su madre, murió por un ataque cardiaco cuando el pequeño Albert tenía cinco años, fue a partir de este suceso que la madre de Albert, incapaz de criar a su hijo sola, lo abandonó en un orfanato. En este lugar se inició en sus placeres por el sadomasoquismo, con cada paliza y agresión que sufría por parte de otros niños, comenzó a sentir una profunda excitación.
Dos años después, cuando su madre se hizo de un empleo, Albert fue sacado del orfanato. En una ocasión que se cayó de un árbol, se golpeó la cabeza, un golpe que le trajo como consecuencia dolores frecuente y algunos lapsus mentales.