Très simplement, il suffit d'ajouter un fichier .dockerignore au même niveau que votre Dockerfile.

Voici un exemple de paths à exclure du contexte.

.git
.ipynb_checkpoints/*
/notebooks/*
/unused/*
Dockerfile
.DS_Store
.gitignore
README.md
env.*
/devops/*

# To prevent storing dev/temporary container data
*.csv
/tmp/*
tmp/