Comment est constitué Django ?

Ce document explique comment est réalisée une publication de Django.

Veuillez s’il-vous-plaît garder ces instructions à jour si vous procédez à des modifications ! La clé ici est d’être descriptif et non pas normatif, sentez-vous donc libre de simplifier ou de faire d’autres changements dans la procédure, mais alors mettez à jour ce document en fonction !

Aperçu

Il peut être nécessaire d’effectuer trois différents types de publications :

• Publications de sécurité : annonce et résolution d’une vulnérabilité. Cela implique généralement deux ou trois publications simultanées – par ex. 3.2.x, 4.0.x et selon le timing, peut-être une 4.1.x.

• Publications de version normale : soit une publication finale (par ex. 4.1) ou une mise à jour corrective (par ex. 4.1.1).

• Prépublications : par ex. 4.2 alpha, bêta ou rc.

La version courte des étapes à suivre est :

1. S’il s’agit d’une publication de sécurité, prénotifier la liste de distribution de sécurité une semaine avant la publication effective.

2. Relire les notes de publication, particulièrement en ce qui concerne leur organisation et leur formulation. Écrire un brouillon d’article de blog et de courriel d’annonce.

3. Mettre à jour les numéros de version et créer le ou les paquets de la publication.

4. Envoyer le ou les paquets sur le serveur djangoproject.com.

5. Vérifier les signatures du ou des paquets, contrôler s’ils peuvent être installés et s’assurer de leur fonctionnement minimal.

6. Envoyer la ou les nouvelles versions au serveur PyPI.

7. Déclarer la nouvelle version dans l’interface d’administration de djangoproject.com.

8. Publier l’article de blog et envoyer le courriel d’annonce.

9. Mettre à jour les numéros de version après la publication.

Il y a beaucoup de détails, accrochez-vous !

Prérequis

Certains prérequis sont nécessaires avant de commencer. S’il s’agit de votre première publication, vous devriez vous coordonner avec un autre publicateur afin de régler ces différentes exigences et écrire à la liste de diffusion des opérateurs pour demander l’accès et les permissions requises.

• Un environnement Unix avec les outils suivants installés (par ordre alphabétique) :

  • bash

  • git

  • GPG

  • make

  • man

  • des outils de hachage (typiquement md5sum, sha1sum et sha256sum sur Linux, ou md5 et shasum sur macOS)

  • python

  • ssh

• Une paire de clé GPG. Assurez-vous de garder confidentielle la partie privée de la clé, dans un endroit sécurisé. La partie publique doit être envoyée sur votre compte GitHub ainsi que sur le serveur Jenkins exécutant la tâche «confirm release».

  Plus d’une clé GPG

  Si la clé que vous souhaitez utiliser n’est pas votre clé de signature par défaut, vous devrez ajouter -u [e-mail] à chaque commande de signature GPG affichée ci-dessous, où [e-mail] est l’adresse de courriel associée à la clé que vous allez utiliser.

• Un environnement virtuel Python propre par version de Django à publier, avec ces paquets Python obligatoirement installés :

  $ python -m pip install build twine
  

• Un accès au projet Django sur PyPI pour envoyer les fichiers binaires, idéalement avec la permission d’annulation de publication <https://pypi.org/help/#yanked>`_ au cas où cela serait nécessaire. Créez un jeton de portée de projet en suivant la documentation officielle et configurez votre fichier $HOME/.pypirc comme ceci :

  ~/.pypirc

  [distutils]
    index-servers =
      pypi
      django
  
  [pypi]
    username = __token__
    password = # User-scoped or project-scoped token, to set as the default.
  
  [django]
    repository = https://upload.pypi.org/legacy/
    username = __token__
    password = # A project token.
  

• Un accès au projet Django sur Transifex, avec rôle de gestionnaire. Générez un jeton d’API dans la section des réglages d’utilisation et configurez votre fichier $HOME/.transifexrc comme ceci :

  ~/.transifexrc

  [https://www.transifex.com]
    rest_hostname = https://rest.api.transifex.com
    token = # API token
  

• Un accès au serveur djangoproject.com pour y envoyer des fichiers (en utilisant scp).

• Un accès à l’interface d’administration Django de djangoproject.com comme « mainteneur de site ».

• Un accès pour écrire un article sur le forum Django - catégorie des annonces et pour envoyer des courriels aux listes de diffusion suivantes :

  • django-users

  • django-developers

  • django-announce

• Un accès au dépôt django-security sur GitHub. Parmi d’autres choses, cela donne accès à la liste de distribution de prénotification (nécessaire pour les tâches de préparation des publications de sécurité).

Tâches de pré-publication

Il faut s’occuper de quelques tâches avant même de commencer le processus de publication en tant que tel. Celles-ci commencent environ une semaine avant la publication ; la plupart peuvent être réalisées à n’importe quel moment précédant la publication réelle.

10 jours (ou plus) avant une publication de sécurité

1. Faites la demande d’un ID CVE  pour la correction du problème de sécurité qui sera publiée. Un identifiant par problème, demandé avec Vendor: djangoproject et Product: django.

2. Produisez le ou les correctifs appropriés (et privés) en utilisant git format-patch, un pour la branche main et un pour chaque branche stable soumise à cette correction.

Une semaine avant une publication de sécurité

1. Envoyez une notification préalable exactement une semaine avant la publication de sécurité. Le modèle de ce message ainsi qu’une liste de destinataires se trouvent dans le wiki GitHub privé django-security. Placer les destinataires en copie cachée en prenant soin d’y inclure les identifiants CVE adéquats. Joignez tous les correctifs des vulnérabilités corrigées (concernant les branches main et stables) et signez le texte du courriel avec la clé qui sera utilisée pour la publication, avec une commande telle que :

   $ gpg --clearsign --digest-algo SHA256 prenotification-email.txt
   

2. Notifiez django-announce au sujet de la mise à jour de sécurité à venir avec un message général du genre :

   Notice of upcoming Django security releases (3.2.24, 4.2.10 and 5.0.2)
   
   Django versions 5.0.2, 4.2.10, and 3.2.24 will be released on Tuesday,
   February 6th, 2024 around 1500 UTC. They will fix one security defect
   with severity "moderate".
   
   For details of severity levels, see:
   https://docs.djangoproject.com/en/dev/internals/security/#how-django-discloses-security-issues
   

Quelques jours avant toute publication

1. À l’approche de la publication, surveiller Trac pour être sûr qu’aucun ticket de sécurité bloquant ne reste en suspens pour la publication à venir.

2. Se coordonner avec les autres fusionneurs pour être sûr qu’ils n’ont pas de commits en attente pour cette publication.

3. Relire les notes de publication, y compris la version en ligne pour détecter tout lien cassé ou erreur reST, et s’assurer que les notes de publication contiennent la bonne date.

4. Revérifier que les notes de publication mentionnent la planification d’obsolescence pour toute API signalée comme obsolète et qu’elles mentionnent tout changement dans la prise en charge des versions de Python.

5. Revérifier que le sommaire des notes de publication contienne un lien vers les notes de la nouvelle publication ; le fichier concerné est docs/releases/index.txt.

6. S’il s’agit d’une publication principale, s’assurer que les traductions en provenance de Transifex ont été intégrées. Cette opération est parfois réalisée par un gestionnaire des traductions autre que le publicateur, mais voici les étapes à suivre. Ce processus est un peu long donc assurez-vous d’avoir 4-10 heures à y consacrer et idéalement planifiez cette tâche un ou deux jours avant le jour de la publication.

   En plus de posséder un compte Transifex configuré, la commande tx CLI doit être disponible dans votre chemin PATH. Vous pouvez alors récupérer toutes les traductions en lançant :

   $ python scripts/manage_translations.py fetch
   

   Cette commande prend du temps à s’exécuter. Lorsqu’elle a terminé, inspectez soigneusement le résultat au cas où des erreurs ou avertissements y figureraient. S’il y en a, vous devrez explorer pour résoudre ces problèmes au cas par cas.

   The recently fetched translations need some manual adjusting. First of all, the PO-Revision-Date values must be manually bumped to be later than POT-Creation-Date. You can use a command similar to this to bulk update all the .po files (compare the diff against the relevant stable branch):

   $ git diff --name-only stable/5.0.x | grep "\.po"  | xargs sed -ri "s/PO-Revision-Date: [0-9\-]+ /PO-Revision-Date: $(date -I) /g"
   

   All the new .po files should be manually and carefully inspected to avoid committing a change in a file without any new translations. Also, there shouldn’t be any changes in the « plural forms »: if there are any (usually Spanish and French report changes for this) those will need reverting.

   Lastly, commit the changed/added files (both .po and .mo) and create a new PR targeting the stable branch of the corresponding release (example PR updating translations for 4.2).

7. Mettez à jour la page de manuel de django-admin:

   $ cd docs
   $ make man
   $ man _build/man/django-admin.1  # do a quick sanity check
   $ cp _build/man/django-admin.1 man/django-admin.1
   

   puis faites le commit de la page de manuel modifiée.

8. S’il s’agit de la version alpha d’une nouvelle série, créez une nouvelle branche stable à partir de main. Par exemple, lors de la publication de Django 4.2 :

   $ git checkout -b stable/4.2.x origin/main
   $ git push origin -u stable/4.2.x:stable/4.2.x
   

   En même temps, mettez à jour la variable django_next_version dans docs/conf.py de la branche de publication stable pour qu’elle pointe vers la nouvelle version de développement. Par exemple, lors de la création de stable/4.2.x, définissez django_next_version à '5.0' dans la nouvelle branche.

9. S’il s’agit de la publication « .0 » d’une nouvelle série, créez une nouvelle branche à partir de la branche stable actuelle dans le dépôt django-docs-translations. Par exemple, lors de la publication de Django 4.2 :

   $ git checkout -b stable/4.2.x origin/stable/4.1.x
   $ git push origin stable/4.2.x:stable/4.2.x
   

10. Écrivez l’article de blog d’annonce de la publication. Vous pouvez l’écrire dans le site d’administration tout en le marquant comme inactif. Voici quelque exemples : exemple d’annonce de publication de sécurité, exemple d’annonce de publication normale, exemple d’annonce de pré-publication.

Production réelle de la nouvelle version

Voilà, il s’agit maintenant de la partie sympa où nous allons effectivement produire la publication ! Si vous produisez plusieurs publications, répétez ces étapes pour chaque publication.

1. Vérifiez que Jenkins est vert pour la ou les versions que vous allez produire. Vous ne devriez probablement pas produire de version tant que ce n’est pas vert, et vous devez vous assurer que la dernière exécution en vert inclue les modifications que vous allez publier.

2. Nettoyez les notes de cette publication. Faites les modifications dans main et rétroportez-les dans toutes les branches où les notes de publication de cette version apparaissent.

   1. Pour une publication majeure, enlevez l’en-tête UNDER DEVELOPMENT au sommet des notes de publication, enlevez le préfixe Expected et mettez à jour la date de publication si nécessaire (commit d’exemple).

   2. Pour une publication corrective, enlevez le préfixe Expected et mettez à jour la date de publication de toutes les publications, si nécessaire (commit d’exemple).

3. A release always begins from a release branch, so you should make sure you’re on an up-to-date stable branch. Also, you should have available a clean and dedicated virtual environment per version being released. For example:

   $ git checkout stable/4.1.x
   $ git pull
   

4. S’il s’agit d’une mise à jour de sécurité, fusionnez les correctifs appropriés à partir de django-security. Rebasez ces correctifs si nécessaire pour que chacun d’entre eux soit un commit simple sur la branche de publication plutôt qu’un commit de fusion. Pour s’assurer de cela, fusionnez-les avec le drapeau --ff-only; par exemple :

   $ git checkout stable/4.1.x
   $ git merge --ff-only security/4.1.x
   

   (Cela suppose que security/4.1.x est une branche du dépôt django-security contenant les correctifs de sécurité nécessaires pour la prochaine publication de la série 4.1).

   Si Git refuse de fusionner avec --ff-only, revenez dans la branche des correctifs de sécurité et rebasez-la sur la branche dans laquelle vous allez effectuer la fusion (git checkout security/4.1.x; git rebase stable/4.1.x), puis retournez dans la branche initiale et effectuez la fusion. Vérifiez que le message de commit de chaque correction de sécurité explique qu’il s’agit bien d’un correctif de sécurité et qu’une annonce va suivre (exemple de commit de sécurité).

5. Mettez à jour le numéro de version dans django/__init__.py pour la publication. Veuillez lire les notes sur la définition du tuple VERSION ci-dessous pour plus de détails sur le format de VERSION (commit d’exemple).

   1. If this is a pre-release package also update the « Development Status » trove classifier in pyproject.toml to reflect this. An rc pre-release should not change the trove classifier (example commit for alpha release, example commit for beta release).

   2. Otherwise, make sure the classifier is set to Development Status :: 5 - Production/Stable.

6. Placez une étiquette sur la publication avec git tag. Par exemple :

   $ git tag --sign --message="Tag 4.1.1" 4.1.1
   

   Vous pouvez contrôler votre travail en exécutant git tag --verify <tag>.

7. Poussez votre travail et la nouvelle étiquette :

   $ git push
   $ git push --tags
   

8. Assurez-vous d’avoir une arborescence parfaitement propre en exécutant git clean -dfx.

9. Lancez python -m build` pour générer les paquets à publier. Ces paquets seront créés dans un répertoire dist/.

10. Générez les empreintes des paquets à publier :

    $ cd dist
    $ md5sum *
    $ sha1sum *
    $ sha256sum *
    

11. Créez un fichier « checksums », Django-<<VERSION>>.checksum.txt` contenant les empreintes et les informations de publication. Commencez avec ce modèle et insérez la version correcte, la date, l’identifiant de clé GPG (provenant de gpg --list-keys --keyid-format LONG), le nom d’utilisateur de responsable de version GitHub, l’URL de publication et les sommes de contrôle :

    This file contains MD5, SHA1, and SHA256 checksums for the source-code
    tarball and wheel files of Django <<VERSION>>, released <<DATE>>.
    
    To use this file, you will need a working install of PGP or other
    compatible public-key encryption software. You will also need to have
    the Django release manager's public key in your keyring. This key has
    the ID ``XXXXXXXXXXXXXXXX`` and can be imported from the MIT
    keyserver, for example, if using the open-source GNU Privacy Guard
    implementation of PGP:
    
        gpg --keyserver pgp.mit.edu --recv-key XXXXXXXXXXXXXXXX
    
    or via the GitHub API:
    
        curl https://github.com/<<RELEASE MANAGER GITHUB USERNAME>>.gpg | gpg --import -
    
    Once the key is imported, verify this file:
    
        gpg --verify <<THIS FILENAME>>
    
    Once you have verified this file, you can use normal MD5, SHA1, or SHA256
    checksumming applications to generate the checksums of the Django
    package and compare them to the checksums listed below.
    
    Release packages
    ================
    
    https://www.djangoproject.com/m/releases/<<MAJOR VERSION>>/<<RELEASE TAR.GZ FILENAME>>
    https://www.djangoproject.com/m/releases/<<MAJOR VERSION>>/<<RELEASE WHL FILENAME>>
    
    MD5 checksums
    =============
    
    <<MD5SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<MD5SUM>>  <<RELEASE WHL FILENAME>>
    
    SHA1 checksums
    ==============
    
    <<SHA1SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<SHA1SUM>>  <<RELEASE WHL FILENAME>>
    
    SHA256 checksums
    ================
    
    <<SHA256SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<SHA256SUM>>  <<RELEASE WHL FILENAME>>
    

12. Signez le fichier de sommes de contrôle (gpg --clearsign --digest-algo SHA256 Django-<version>.checksum.txt). Cela produit un document signé, Django-<version>.checksum.txt.asc que vous pouvez ensuite vérifier avec gpg --verify Django-<version>.checksum.txt.asc.

Rendre la ou les publications publique(s)

Vous êtes maintenant prêt à publier les nouveaux paquets. Pour cela :

1. Téléversez les fichiers de sommes de contrôle :

   $ scp Django-A.B.C.checksum.txt.asc djangoproject.com:/home/www/www/media/pgp/Django-A.B.C.checksum.txt
   

   (If this is a security release, what follows should be done 15 minutes before the announced release time, no sooner.)

2. Téléversez les paquets à publier sur le serveur djangoproject, en remplaçant A.B. par le numéro de version approprié, par ex. 4.1 pour une publication 4.1.x :

   $ scp Django-* djangoproject.com:/home/www/www/media/releases/A.B
   

   If this is the alpha release of a new series, you will need to create first the directory A.B.

3. Test that the release packages install correctly using pip. Here’s one simple method (this just tests that the binaries are available, that they install correctly, and that migrations and the development server start, but it’ll catch silly mistakes):

   $ RELEASE_VERSION='4.1.1'
   $ MAJOR_VERSION=`echo $RELEASE_VERSION| cut -c 1-3`
   
   $ python -m venv django-pip-tarball
   $ . django-pip-tarball/bin/activate
   $ python -m pip install https://www.djangoproject.com/m/releases/$MAJOR_VERSION/Django-$RELEASE_VERSION.tar.gz
   $ django-admin startproject test_tarball
   $ cd test_tarball
   $ ./manage.py --help  # Ensure executable bits
   $ python manage.py migrate
   $ python manage.py runserver
   <CTRL+C>
   $ deactivate
   $ cd .. && rm -rf test_tarball && rm -rf django-pip-tarball
   
   $ python -m venv django-pip-wheel
   $ . django-pip-wheel/bin/activate
   $ python -m pip install https://www.djangoproject.com/m/releases/$MAJOR_VERSION/Django-$RELEASE_VERSION-py3-none-any.whl
   $ django-admin startproject test_wheel
   $ cd test_wheel
   $ ./manage.py --help  # Ensure executable bits
   $ python manage.py migrate
   $ python manage.py runserver
   <CTRL+C>
   $ deactivate
   $ cd .. && rm -rf test_wheel && rm -rf django-pip-wheel
   

4. Lancez la construction confirm-release sur Jenkins pour vérifier les fichiers de sommes de contrôle (par ex. utilisez 4.2rc1 pour https://media.djangoproject.com/pgp/Django-4.2rc1.checksum.txt).

5. Envoyez les paquets à publier vers PyPI (pour les prépublications, n’envoyez que le fichier wheel) :

   $ twine upload dist/*
   

6. Allez à la page d’ajout de publication dans le site d’administration, saisissez le nouveau numéro de version exactement tel qu’il apparaît dans le nom du fichier à publier (Django-<version>.tar.gz). Entrez donc par exemple « 4.1.1 » ou « 4.2rc1 », etc. Si la publication fait partie d’une branche LTS, indiquez-le.

   S’il s’agit de la version alpha d’une nouvelle série, créez aussi un objet Release pour la publication finale, en prenant soin de laisser vide le champ Release date, le marquant ainsi comme non publié. Par exemple, en créant l’objet Release pour 4.2a1, créez aussi 4.2 en laissant vide son champ de date de publication.

7. Écrivez l’article de blog annonçant que la publication est en ligne.

8. Pour une publication majeure (par ex. 4.1, 4.2), mettez à jour la version stable par défaut de la documentation en activant le drapeau is_default sur l’objet DocumentRelease approprié de la base de données docs.djangoproject.com (cela va automatiquement mettre à False ce drapeau pour toutes les autres instances) ; vous pouvez faire cela par le moyen du site d’administration.

   Create new DocumentRelease objects for each language that has an entry for the previous release. Update djangoproject.com’s robots.docs.txt file by copying the result generated from running the command manage_translations.py robots_txt in the current stable branch from the django-docs-translations repository. For example, when releasing Django 4.2:

   $ git checkout stable/4.2.x
   $ git pull
   $ python manage_translations.py robots_txt
   

9. Publiez l’annonce de publication sur les listes de diffusion django-announce, django-developers et django-users ainsi que sur le Forum Django. Cette annonce doit contenir un lien vers l’article de blog de l’annonce.

10. S’il s’agit d’une mise à jour de sécurité, envoyez un message séparé à [e-mail]. Indiquez un sujet descriptif tel que par exemple « Django » suivi du titre du problème provenant des notes de publication (y compris l’ID CVE). Le corps du message doit inclure les détails de la vulnérabilité, par exemple le texte de l’article de blog de l’annonce. Incluez un lien vers cet article de blog d’annonce.

11. Ajoutez un lien vers l’article de blog dans le sujet du canal IRC #django: /msg chanserv TOPIC #django ici le nouveau sujet.

Après la publication

Vous êtes presque au bout ! Tout ce qui reste à faire est :

1. Mettez à jour à nouveau le tuple VERSION dans django/__init__.py, en l’incrémentant à ce que la prochaine version devra donner. Par exemple, après la publication de 4.1.1, mettez à jour VERSION à VERSION = (4, 1, 2, 'alpha', 0).

2. Ajoutez la version dans la liste des versions de Trac si nécessaire (et, s’il s’agit d’une version finale, mettez-la comme version par défaut en modifiant le réglage default_version dans le fichier trac.ini de code.djangoproject.com). La nouvelle version X.Y doit être ajoutée après la publication alpha et la version par défaut doit être mise à jour après la publication .0.

3. S’il s’agit d’une nouvelle version majeure :

   1. Mettez à jour la branche stable actuelle et enlevez les branches de pré-publication dans le processus de publication de Django sur Trac.

   2. Mettez à jour la page de téléchargement de djangoproject.com (PR d’exemple).

4. S’il s’est agi d’une publication de sécurité, mettez à jour Archive des issues de sécurité avec les détails sur les problèmes corrigés.

Tâches pour les nouvelles versions stables

Il y a plusieurs choses à faire à la suite de la création d’une nouvelle branche stable (suivant en général une publication alpha). Certaines de ces tâches n’ont pas besoin d’être réalisées par le publicateur.

1. Create a new DocumentRelease object in the docs.djangoproject.com database for the new version’s docs, and update the docs/fixtures/doc_releases.json JSON fixture, so people without access to the production DB can still run an up-to-date copy of the docs site (example PR).

2. Créez un squelette de notes de publication pour la nouvelle version majeure. Utilisez le modèle de l’ancienne version majeure ou copiez le contenu d’une précédente version majeure en supprimant la plupart de son contenu excepté les en-têtes.

3. Augmentez le nombre d’itérations PBKDF2 par défaut dans django.contrib.auth.hashers.PBKDF2PasswordHasher d’environ 20% (en choisissant un chiffre rond). Lancez les tests et mettez à jour les 3 tests en échec liés aux empreintes avec les nouvelles valeurs. Assurez-vous que les notes de publication mentionnent cette augmentation (voir par exemple les notes de publication de la version 4.1).

4. Enlevez les fonctionnalités qui ont atteint la fin de leur cycle d’obsolescence. Chaque suppression doit être appliquée dans un commit séparé pour plus de clarté. Dans le message de commit, ajoutez si possible la mention « refs #XXXX » pointant vers le ticket d’origine qui a provoqué l’obsolescence.

5. Supprimez les annotations .. versionadded::, .. versionadded:: et .. deprecated:: dans la documentation concernant l’avant-dernière publication. Par exemple, dans Django 4.2, les notes pour 4.0 seront supprimées.

6. Ajoutez la nouvelle branche sur Read the Docs. Comme les noms de versions automatiquement générés («stable-A.B.x») diffèrent des noms de versions utilisés dans Read the Docs («A.B.x»), créez un ticket demandant la nouvelle version.

7. Demandez la nouvelle classification sur PyPI. Par exemple, Framework :: Django :: 3.1.

8. Mettez à jour la version de développement active à la branche actuelle et ajoutez la branche de pré-publication dans le processus de publication de Django sur Trac.

Notes sur la définition du tuple VERSION

La version de Django est contrôlée par le tuple VERSION dans django/__init__.py. C’est un tuple à cinq éléments, contenant :

1. La version majeure.

2. La version mineure.

3. La version micro.

4. Le statut, qui peut-être « alpha », « beta », « rc » ou « final ».

5. Le numéro de série, dans le cas des versions alpha/beta/RC qui se font suite (autorisant, par exemple, « beta 1 », « beta 2 », etc.).

Pour une version finale, le statut est toujours « final » et le numéro de série 0. Un numéro de série à 0 avec le statut « alpha » est signalé comme une « pre-alpha ».

Quelques exemples :

• (4, 1, 1, "final", 0) → « 4.1.1 »

• (4, 2, 0, "alpha", 0) → « 4.2 pre-alpha »

• (4, 2, 0, "beta", 1) → « 4.2 beta 1 »