Como o Django é formado?

Este documento explica como fazer uma release do Django.

Por favor, mantenha essas instruções atualizadas se você fizer mudanças! A ideia aqui é ser descritivo, não prescritivo, então sinta-se à vontade para agilizar ou por outro lado fazer mudanças, mas atualize este documento de acordo

Visão Geral

Existem três tipos de releases que você pode precisar fazer:

• Releases de segurança: divulgação e correção de uma vulnerabilidade. Isto provavelmente irá envolver duas ou três release simultâneas – ex. 1.5.x, 1.6.x, e, dependendo do momento, talvez 1.7 alpha/beta/rc.
• Releases de versões regulares: tanto uma release final (ex. 1.5) ou uma atualização de correção de bugs (ex. 1.5.1).
• Pre-release: ex. 1.6 alpha, beta, ou rc.

Uma curta versão dos passos envolvidos é a seguinte:

1. Se esta é uma release de segurança, pre-notificar a lista de distribuição de segurança uma semana antes da release atual.
2. Revisar as notas de release, buscando por melhor organização e erros de escrita. Esboçar um post de blog e um e-mail de anúncio.
3. Atualizar os números de versão e criar um ou mais pacotes de release.
4. Fazer upload do pacote (ou dos pacotes) para o servidor djangoproject.com.
5. Fazer upload da nova versão (ou versões) para o PyPI.
6. Declare a nova versão no admin em djangoproject.com.
7. Postar a entrada no blog e enviar os anúncios de e-mail.
8. Atualizar os números de versão pós-release.

Existem vários detalhes, então por favor continue lendo.

Pré-requisitos

Você vai precisar de algumas coisas antes de começar:

• Uma chage GPG. Se a chave que você quer usar não é sua chave de assinatura padrão, você vai precisar adicionar -u [e-mail] para cada comando de assinatura GPG abaixo, onde [e-mail] é um endereço de email associado com a chave que você quer usar.

• A instalação de alguns pacotes requeridos pelo Python:

  $ pip install wheel twine
  

• Acesso ao registro do Django no PyPI. Criar um arquivo com suas credenciais:

  ~/.pypirc

  [pypi]
  username:YourUsername
  password:YourPassword
  

• Acessar o servidor de djangoproject.com para atualizar os arquivos.

• Acesso para o admin em djangoproject.com como um “Site maintainer”.

• Acesso para postar em django-announce.

• Se essa é uma release de segurança, acesso para a lista de distribuição de segurança.

Se essa é a sua primeira release, você precisará se alinhar com James e/ou Jacob para fazer todas essas coisas de forma organizada.

Tarefas de pré-release

Alguns itens precisam ser realizados antes mesmo de começar o processo de release. Isso começa por volta de uma semana antes da release; a maior parte dele pode ser feita a qualquer momento culminando na release em si:

1. If this is a security release, send out pre-notification one week before the release. We maintain a list of who gets these pre-notification emails in the private django-core repository. Send the mail to [e-mail] and BCC the pre-notification recipients. This email should be signed by the key you’ll use for the release and should include CVE IDs (requested with Vendor: djangoproject, Product: django) and patches for each issue being fixed. Also, notify django-announce of the upcoming security release.

2. À medida em que a release se aproxima, acompanhe o Track para se certificar de que nenhum problema que possa bloquear a release prestes a ser lançada tenha restado sem solução.

3. Converse com outros comiiters para se certificar que eles não tem quaisquer mudanças que ainda não tenham sido commitadas para a release.

4. Revise as notas de release, incluindo olhar a versão online para pegar quaisquer links quebrados ou erros de formação de reST, e certifique-se de que as notas da release contém a data correta.

5. Verifique duas vezes as menções de depreciação ao longo do tempo nas notas da release em busca de quaisquer APIs listadas como depreciadas, e que as notas mencionam quaisquer mudanças na versão suportada do Python.

6. Verifique duas vezes se o índice das notas de release possuem um link para as notas da nova release; isso estará em docs/releases/index.txt.

7. Se essa é uma feature release, garanta que as traduções do Transifex foram integradas. Isso é tipicamente realizado por um gerente de tradução separado ao invés do releaser, mas aqui vão os passos. Supondo que você tenha uma conta no Transifex:

   $ python scripts/manage_translations.py fetch
   

   e então faça commit da mudança/arquivos adicionados (.po e .mo). Algumas vezes existem validações de errros que precisam ser depurados, então evite fazer essa tarefa imediatamente antes de uma release ser necessária.

8. Atualize a página de manual do django-admin:

   $ cd docs
   $ make man
   $ man _build/man/django-admin.1  # do a quick sanity check
   $ cp _build/man/django-admin.1 man/django-admin.1
   

   e então faça commit da página man alterada.

Preparando para a release

Escreva o post no blog para o anúncio da release. Você pode entrar dentro do admin a qualquer momento e marcar ele como inativo. Aqui vão alguns exemplos: `example security release announcement`__, `example regular release announcement`__, `example pre-release announcement`__.

Lançando a release

OK, esta é a parte divertida, quando nós efetivamente fazemos o push da release!

1. Veja se o status do `Jenkins`__ é verde para a versão (ou versões) que você está soltando. Você provavelmente não deve lançar uma release enquanto ele não estiver com o status verde.

2. Uma release sempre começa de uma branch de release, então você terá que se certificar que você está em uma branch estável e atualizada. Por exemplo:

   $ git checkout stable/1.5.x
   $ git pull
   

3. Se essa é uma release de segurança, faça o merga apropriado dos patches de django-private. Faça rebase desses patches se necessário para fazer com que cada um deles seja um único commit na branch da release ao invés de um commit mesclado. Para garantir isso, faça o merge deles com a flag --ff-only; por exemplo:

   $ git checkout stable/1.5.x
   $ git merge --ff-only security/1.5.x
   

   (Isso assume que security/1.5.x é uma branch dentro do repositório django-private contendo os patches de segurança necessários para a próxima release na série 1.5)

   Se o git se recusar a fazer o merge com a flag --ff-only, vá para a branch security-patch e faça o rebase dela na branch que você está prestes a fazer o seu merge (git checkout security/1.5.x; git rebase stable/1.5.x) e então volte e faça o merge. Certifique-se de que a mensagem de commit para cada correção de segurança explica que o commit é uma correção de segurança e que um anúncio será feito (`example security commit`__).

4. Para uma feature release, remova o cabeçalho UNDER DEVELOPMENT no topo das notas da release e adicione a data da release na próxima linha. Para uma patch release, troque *Under Development*, com a data da release. Faça essa mudança em todas as branches em que as notas de release para uma versão em particular estiverem localizadas.

5. Atualize o número da versão em django/__init__.py para a release. Por favor veja as notas sobre configurando a tupla VERSION abaixo para mais detalhes sobre VERSION.

6. Se isso é um pacote de pre-release, atualize o classificador trove “Development Status” em setup.py para refletir isso. Caso contrário, certifique-se de que o classificador está configurado como Development Status :: 5 - Production/Stable.

7. Faça uma tag da release usando git tag. Por exemplo:

   $ git tag --sign --message="Tag 1.5.1" 1.5.1
   

   Você pode checar o seu trabalho rodando o comando git tag --verify <tag>.

8. Faça o push do seu trabalho, incluindo a tag: git push --tags.

9. Certifique-se de que você tem uma árvore absolutamente limpa rodando o comando git clean -dfx`.

10. Rodar make -f extras/Makefile para gerar os pacotes da release. Isso criará os pacotes da release no diretório dist/;

11. Gere os hashes dos pacotes da release:

    $ cd dist
    $ md5sum *
    $ sha1sum *
    $ sha256sum *
    

12. Crie um arquivo “checksums”, Django-<<VERSION>>.checksum.txt contendo os hashes e as informações da release. Comece com esse template e insira a versão correta, data, ID da chave GPG (de gpg --list-keys --keyid-format LONG), URL da release, e checksums:

    This file contains MD5, SHA1, and SHA256 checksums for the source-code
    tarball and wheel files of Django <<VERSION>>, released <<DATE>>.
    
    To use this file, you will need a working install of PGP or other
    compatible public-key encryption software. You will also need to have
    the Django release manager's public key in your keyring; this key has
    the ID ``XXXXXXXXXXXXXXXX`` and can be imported from the MIT
    keyserver. For example, if using the open-source GNU Privacy Guard
    implementation of PGP:
    
        gpg --keyserver pgp.mit.edu --recv-key XXXXXXXXXXXXXXXX
    
    Once the key is imported, verify this file::
    
        gpg --verify <<THIS FILENAME>>
    
    Once you have verified this file, you can use normal MD5, SHA1, or SHA256
    checksumming applications to generate the checksums of the Django
    package and compare them to the checksums listed below.
    
    Release packages:
    =================
    
    https://www.djangoproject.com/m/releases/<<RELEASE TAR.GZ FILENAME>>
    https://www.djangoproject.com/m/releases/<<RELEASE WHL FILENAME>>
    
    MD5 checksums:
    ==============
    
    <<MD5SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<MD5SUM>>  <<RELEASE WHL FILENAME>>
    
    SHA1 checksums:
    ===============
    
    <<SHA1SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<SHA1SUM>>  <<RELEASE WHL FILENAME>>
    
    SHA256 checksums:
    =================
    
    <<SHA256SUM>>  <<RELEASE TAR.GZ FILENAME>>
    <<SHA256SUM>>  <<RELEASE WHL FILENAME>>
    

13. Assine o arquivo de checksum (gpg --clearsign --digest-algo SHA256 Django-<version>.checksum.txt). Isso gera um documento assinado, Django-<version>.checksum.txt.asc que você pode então verificar usando gpg --verify Django-<version>.checksum.txt.asc.

Se você estiver lançando múltiplas releases, repita esses passos para cada release.

Fazendo a release (ou as releases) disponível ao público

Agora você está pronto para lançar a release efetivamente. Para isso faça:

1. Faça upload do pacote (ou pacotes) da release para o servidor do djangoproject, trocando A.B. com o número de versão apropriado, ex. 1.5 para a release 1.5.x:

   $ scp Django-* djangoproject.com:/home/www/www/media/releases/A.B
   

2. Atualize o arquivo (ou arquivos) de checksum:

   $ scp Django-A.B.C.checksum.txt.asc djangoproject.com:/home/www/www/media/pgp/Django-A.B.C.checksum.txt
   

3. Teste se os pacotes da release foram instalados corretamente usando easy_install e pip. Aqui está um método (que requer `virtualenvwrapper`__):

   $ RELEASE_VERSION='1.7.2'
   $ MAJOR_VERSION=`echo $RELEASE_VERSION| cut -c 1-3`
   
   $ mktmpenv
   $ easy_install https://www.djangoproject.com/m/releases/$MAJOR_VERSION/Django-$RELEASE_VERSION.tar.gz
   $ deactivate
   $ mktmpenv
   $ pip install https://www.djangoproject.com/m/releases/$MAJOR_VERSION/Django-$RELEASE_VERSION.tar.gz
   $ deactivate
   $ mktmpenv
   $ pip install https://www.djangoproject.com/m/releases/$MAJOR_VERSION/Django-$RELEASE_VERSION-py3-none-any.whl
   $ deactivate
   

   Isso só verifica se as tarballs estão disponíveis (ex. redirecionamentos estão funcionando) e que eles instalaram corretamente, mas eles irão pegar erros bobos.

4. Pergunte a algumas pessoas no IRC para verificar os checksums visitando os arquivos checksums (ex. https://www.djangoproject.com/m/pgp/Django-1.5b1.checksum.txt) e seguindo as instruções nele. Para pontos bônus, eles também poderiam extrair a tarball da release baixada e verificar se o seu conteúdo aparenta estar correto (números de versão corretos, arquivos .pyc perdidos ou outros arquivos não desejados).

5. Faça o upload dos pacotes da release para o PyPI (para pre-release, somente atualize o arquivo wheel):

   $ twine upload -s dist/*
   

6. Vá para ` a página Add release no admin`__, entre com o número da nova release exatamente como ele aparece no nome da tarball (Django-<version>.tar.gz). Então entre com “1.5.1” ou “1.4c2”, etc. Se a release é parte de uma branch LTS, marque ele como tal.

7. Faça um post no blog anunciando que a release foi lançada.

8. Para uma nova versão de release (ex. 1.5, 1.6), atualize a versão estável padrão da documentação alterando a flag is_default para True no objeto DocumentRelease apropriado no banco de dados de docs.djangoproject.com (isso irá alterar automaticamente ela para False para todos os outros); você pode fazer isso usando o site do admin.

   Create new DocumentRelease objects for each language that has an entry for the previous release. Update djangoproject.com’s `robots.docs.txt`__ file by copying entries from the previous release.

9. Poste o anúncio de release nas listas de email django-announce, django-developers, and django-users. Isso deve incluir um link para o post de anúncio no blog. Se essa for uma release de segurança, inclua também [e-mail].

10. Adicione um link para o post do blog no tópico do canal de IRC #django: /msg chanserv TOPIC #django o novo tópico vai aqui.

Pós-release

Você quase terminou! Tudo que resta a fazer agora é:

1. Atualizar a tupla VERSION em django/__init__.py novamente, incrementando ela para qualquer que seja a próxima release. Por exemplo, depois de soltar a release 1.5.1, atualize VERSION para VERSION = (1, 5, 2, 'alpha', 0).
2. Adicione a release na lista de versões do Trac se necessário (e faça com que ela seja a padrão se ela for uma fina release). Nem todas as versões são declaradas; pegue como exemplo as releases passadas.
3. Se essa for uma release de segurança, atualize Archive of security issues com detalhes dos problemas endereçados.

Tarefas para novas branches estáveis

Existem várias coisas para fazer no momento posterior a criação de uma nova branch estável (geralmente após uma alpha release). Algumas dessas tarefas não precisam ser feitas pelo releaser.

1. Crie um novo objeto DocumentRelease no banco de dados de docs.djangoproject.com para a nova versão da documentação, e atualize o JSON fixture docs/fixtures/doc_releases.json, para que pessoas sem acesso ao DB de produção possam ainda rodar uma cópia atualizada do site da documentação.
2. Criar um esboço de uma nota de release para a nova versão. Use o esboço de versões de releases anteriores ou copie os conteúdos de versões prévias e exclua a maior parte do conteúdo deixando apenas os cabeçalhos.
3. Aumente as iterações PBKDF2 padrão em django.contrib.auth.hashers.PBKDF2PasswordHasher por cerca de 20% (escolha um número redondo). Rode os testes, e atualize os 3 testes falhos de hashers com os novos valores. Certifique-se de que isso seja registrado nas notas de release (veja as notas da release 1.8 para um exemplo).
4. Remova as funcionalidades que chegaram ao fim de seu clico de depreciação. Cada remoção deve ser feita em um commit separado para claridade. Na mensagem de commit, adiciona um “refs #XXXX” para o ticket original onde a depreciação começou se possível.
5. Remova as anotações .. versionadded::, .. versionadded::, e .. deprecated:: na documentação das duas releases anteriores. Por exemplo, no Django 1.9, notas para a 1.7 serão removidas.
6. Adicione a nova branch para Read the Docs. Como os nomes das versões (“stable-A.B.x”) gerados automaticamente diferem dos números de versão que nós utilizamos historicamente no Read the Docs (“A.B.x”), nós atualmente pedimos que Eric Hoscher adicione a versão para nós. Algum dia a funcionalidade de alias pode ser construída na UI do Read the Docs.

Considerações quanto a configuração da tupla VERSION

O reporte de versões do Django é controlado por uma tupla VERSION em django/__init__.py. Essa é uma tupla de cinco elementos, cujos elementos são:

1. Versão principal.
2. Versão secundária.
3. Micro versão.
4. Status – pode ser “alpha”, “beta”, “rc” ou “final”.
5. Número das séries, para alpha/beta/RC packages que rodam em sequência (permitindo, por exemplo, “beta 1”, “beta 2”, etc.).

Para uma release final, o status é sempre “final” e o número das séries é sempre 0. Um número de séries 0 com um status “alpha” será reportado como “pre-alpha”.

Alguns exemplos:

• (1, 2, 1, 'final', 0) → “1.2.1”
• (1, 3, 0, 'alpha', 0) → “1.3 pre-alpha”
• (1, 3, 0, 'beta', 2) → “1.3 beta 2”