E neste "fundo do buraco" o potencial gravitacional também seria infinito. Inclusive faz mais sentido. Deveria ser mais difícil, ou impossível no caso, para um corpo se afastar do centro gravitacional de um sistema. Mas se ele for zero essa premissa simplesmente não é verdadeira.
Na verdade, não. No centro gravitacional de um corpo, a força gravitacional resultante é nula (vc pára de "cair"). Se fosse infinita, você seria esmagado, visto que a pressão estaria atuando diretamente no seu corpo.
Quando se está no centro, a foça resultante é nula, logo qualquer força que você aplique para fora do centro, o tirará FACILMENTE de lá, quando você volta a sofrer força gravitacional.
Por quê haveria mais de uma força se há apenas um potencial gravitacional?
Porque o campo gravitacional de um corpo é um somatório das forças gravitacionais de cada partícula. Quando você se encontra no centro de massa do corpo, parte dele exerce força par um lado e parte para o outro. Enstando no centro de massa, TODAS as direções estarão com a mesma força atuando sobre você e você passa a tender ao equilíbrio.