19. Consejos para entrenar redes neuronales

Aspectos a considerar durante el entrenamiento de redes neuronales

• Asegurate de que la salida de la red es compatible con la función de costo seleccionada

• Asegurate de que la tasa de aprendizaje no es demasiado grande o demasiado pequeña. Explora inicialmente con optimizadores adaptivos

• Verificar convergencia y sobreajuste:

  • Checkpoint: Guardar el último modelo y el con menor costo de validación

  • Early stopping: Detener el entrenamiento si el error de validación no disminuye en un cierto número de épocas

• Inicialización de los parámetros: Probar varios entrenamientos desde inicios aleatorios distintos

• Normaliza los datos antes de presentarlos a la red

• Si el modelo se sobreajusta pronto

  • Disminuir complejidad

  • Incorporar regularización: Aumentación de datos, decaimiento de pesos, Dropout

• Si quiero aprovechar un modelo preentrenado

  • Transferencia de aprendizaje

  • Zoológico de modelos

  • Papers with code

Estrategia agil

Desarrolla rápido e itera: Empieza simple. Propón una solución, impleméntala, entrena y evalua. Analiza las fallas, modifica e intenta de nuevo

Mucho exito en sus desarrollos futuros!

Ver también

Más consejos útiles en http://karpathy.github.io/2019/04/25/recipe/