Виртуальное окружение Python – это «автономное дерево каталогов, которое содержит пакет установки для конкретной версии Python, а также ряд дополнительных пакетов» (цитата из официальной документации).
Посмотрите на следующий комикс xkcd:
Мораль этой истории такова: используйте виртуальные окружения Python осознанно и организованно. Старайтесь не загрязнять вашу системную среду, иначе она станет беспорядочной и крайне неудобной для использования.
Поскольку использование виртуальных окружений потенциально может привести к беспорядку, возникло множество инструментов для управления ими. В этой статье мы рассмотрим некоторые из них:
Используйте встроенный venv
Примечание: команда virtualenv является «надмножеством» собственной команды python -m venv, описанной в этом разделе. Фактически, если вам нужна скорость и дополнительные функции virtualenv, просто замените везде python -m venv на virtualenv.
К счастью, модуль venv и pip обычно поставляются вместе с Python. Чтобы создать виртуальную среду в каталоге .venv, попробуйте следующее:
python -m venv .venv
Давайте разберём это подробнее. Мы используем исполняемый файл Python для версии Python, которую хотим использовать в виртуальном окружении. Это может быть python, как указано выше, или python3, python3.8, python3.9 и даже pypy3.
Затем мы указываем python выполнить модуль venv. Следом пишем имя каталога, в котором хотим разместить виртуальное окружение. Как видно выше, я обычно использую имя .venv или, для большей наглядности, venv.
После некоторой паузы будет создан новый каталог с именем .venv, который вы можете увидеть, выполнив команду ls или dir. (На Mac и Linux из-за точки в начале имени файл будет скрыт. Чтобы увидеть его в списке файлов, используйте команду ls -a). Вы можете указать любое имя каталога вместо .venv.
Если вместо этого вы видите что-то вроде "The virtual environment was not created successfully because ensurepip is not available" или другую ошибку, связанную особенностями вашего дистрибутива, почитайте, как установить pip и venv.
Активация виртуального окружения
Теперь вы можете активировать виртуальное окружение с помощью следующей команды:
source ./.venv/bin/activate
или в Windows:
.\venv\Scripts\Activate.ps1
Если вы не используете Bash или Powershell, вы можете заглянуть в каталог ./venv/bin или .\Venv\Scripts, чтобы увидеть другие параметры для CMD, fish или csh.
После активации предложение командной строки должно измениться: в нем появится имя каталога виртуального окружения. Что-то вроде:
(.venv) [default command prompt] $
Это (.venv) (или другое выбранное вами имя каталога) является признаком того, что вы активировали свое виртуальное окружение. Она не останется активной после перезагрузки компьютера или запуска другой оболочки или открытия новой вкладки терминала. Привыкайте запускать скрипт активации.
Редакторы/IDE иногда могут управлять виртуальным окружением и даже автоматически активировать его. Есть инструкции VSCode, плагины для Atom, для Vim, для Sublime и, конечно же, PyCharm.
После активации вы сможете попробовать сделать так:
(.venv) $ python >>> import sys >>> sys.executable '/home/my_username/sample_python/.venv/bin/python'
Как видите, исполняемый файл находится в каталоге вашего виртуального окружения. Если виртуальное окружение не активно, sys.executable должен читать что-то вроде /usr/bin/python или C:\\Python38\\python.exe.
Выполнение скриптов Python в виртуальном окружении
Вы можете выполнять скрипты Python двумя способами:
- Активировав виртуальное окружение, можно выполнить
python my_script_name.py - Запустить скрипт можно и без активации виртуального окружения, но тогда нужно писать, например,
./.venv/bin/python my_script_name.py
Деактивация виртуального окружения
Чтобы выйти из виртуального окружения, отключите его. Это можно сделать так:
(.venv) $ deactivate
Для повторной активации повторите приведенные выше инструкции.
Установка пакетов
Повторно активируйте виртуальную среду и установите что-нибудь с помощью pip:
(.venv) $ pip install arrow
Сначала пакеты и зависимости нужно установить. После этого вы сможете импортировать и использовать эти пакеты.
Вы можете выйти из системы, забыть о Python, вернуться через несколько недель и повторно активировать свое виртуальное окружение. Пакеты по-прежнему будут установлены. Но только в этом виртуальном окружении. Они не будут захламлять вашу системную среду Python или другие виртуальные окружения.
Уничтожение виртуального окружения
«Мое виртуальное окружение не подлежит ремонту», – скажете вы? Такое случается. Это безопасность использования виртуальных окружений. Что делать?
Сжечь дотла.
rm -r .venv
Всё ушло. Надеюсь, вы помните список пакетов (вы же сначала выполнили pip freeze или pip list, чтобы получить список, верно?).
Затем воссоздайте виртуальное окружение, как описано выше.
virtualenv
Инструмент virtualenv очень похож на python -m venv. Фактически, модуль venv основан на virtualenv. Однако использование virtualenv вместо python -m venv дает сразу несколько очевидных преимуществ:
virtualenvобычно быстрее, чемpython -m venv- Такие инструменты, как
pip,setuptoolsиwheel, часто более актуальны и кэшированы (отсюда и повышение производительности). В терминахvirtualenvэто seed packages. И да, вы можете добавлять другие seed packages.
Использование virtualenv
Несколько хороших команд virtualenv:
virtualenv --helpпокажет вам, где должен быть файл конфигурации, если вы захотите установить какие-то настройкиvirtualenv --upgrade-embed-wheelsобновит всеseed packages, такие какpipи т. д., до последних версий.
В остальных случаях можете следовать инструкциям для venv, приведенным выше, но используйте virtualenv вместо python -m venv.
Установка virtualenv
Вы можете установить virtualenv из репозиториев менеджера пакетов (например, используя apt или dnf).
Но мы очень рекомендуем использовать pipx. После установки pipx вы сможете запустить установку virtualenv:
pipx install virtualenv
Poetry
virtualenv и venv полезны и просты, они делают то, что нам нужно и делают это хорошо. Poetry – ещё один инструмент для удобного управления не только виртуальными окружениями, но и проектами и зависимостями.
Установка Poetry
Вы можете использовать официальную документацию для установки данного модуля.
Решите, где Poetry будет размещать виртуальные окружения
По умолчанию Poetry имеет центральное место для установки виртуальных окружений. Это хорошо, если вы не хотите, чтобы каталог вашего проекта содержал каталог виртуального окружения (то есть, если не хотите видеть каталог venv или .venv в вашем проекте).
Но если вы приверженец традиций и как раз хотите, чтобы файлы виртуального окружения находились в каталоге .venv в каждом проекте, попробуйте следующее:
poetry config virtualenvs.in-project true
Это глобальная настройка Poetry позволяет размещать виртуальные окружения в папках проектов.
Взаимодействие с виртуальным окружением Poetry
Poetry предназначен для управления проектами, поэтому для создания нового виртуального окружения сначала создайте каталог проекта и войдите в него:
poetry new my_project cd my_project
Когда виртуальное окружение потребуется в первый раз, оно будет создано автоматически.
Чтобы активировать виртуальное окружение, сделайте следующее:
poetry shell
Для выхода из этого виртуального окружения воспользуйтесь exit, Ctrl-d или вашим любимым способом выхода из оболочки.
Без предварительного входа в виртуальное окружение вы можете выполнить любую команду, доступную в нем, с помощью poetry run. К примеру, чтобы запустить python в виртуальном окружении, не входя в него, выполните следующую команду:
poetry run python
Добавление пакетов с помощью Poetry
В отличие от традиционного подхода, в Poetry мы не используем pip install для установки пакетов. Вместо этого используйте poetry add:
poetry add arrow
Эта команда установит arrow и запишет его как зависимость в файле pyproject.toml.
Вы можете увидеть множество других команд Poetry с помощью poetry help.
Pipenv
Интересно, что в официальном руководстве Python по установке пакетов прямо говорится, что «Управление несколькими виртуальными окружениями напрямую может быть утомительным, поэтому…», а затем упоминается Pipenv.
Несмотря на эту почти официальную рекомендацию, мы продолжаем пользоваться virtualenv, так как он надежен и прост, или Poetry, потому что он обеспечивает отличное управление проектами и зависимостями.
Тем не менее, Pipenv уже некоторое время пользуется популярностью и заслуживает внимания и уважения. Если вам он нравится, у вас могут быть на то веские причины.
Установка Pipenv
Хотя документация Pipenv рекомендуют использовать pip или ваш менеджер пакетов, мы настоятельно рекомендуем использовать pipx для установки Pipenv:
pipx install pipenv
Взаимодействие с виртуальным окружением Pipenv
При использовании Pipenv важно сначала создать каталог для вашего проекта. (Это вообще хороший шаг при работе с любым инструментом).
Когда виртуальное окружение потребуется в первый раз, оно будет создано автоматически.
Чтобы активировать виртуальное окружение, выполните следующее:
pipenv shell
Вы можете выполнить любую команду, доступную в виртуальном окружении, без предварительного входа в него. Делается это через pipenv run. Например, откроем python в виртуальном окружении:
pipenv run python
Установка пакетов с помощью Pipenv
Для установки пакетов вместо pip install Pipenv использует pipenv install.
pipenv install arrow
Вы можете увидеть множество других команд с помощью pipenv -h.
Pyflow
Если вам нужен инструмент для упрощения работы с виртуальными окружениями, мы бы посоветовали virtualenv или Poetry.
Но если вы хотите попробовать что-то малоизвестное, но довольно многообещающее, особенно если вы имеете дело с разными версиями Python, тогда стоит обратить внимание на Pyflow.
Возьмите Poetry, добавьте изящное управление версиями Python, снимите шляпу с conda и напишите все это на Rust – и результат будет немного похож на Pyflow. Время покажет, вырастет ли Pyflow и получит ли признание сообщества.
Установка Pyflow
Чтобы установить Pyflow, перейдите на страницу релизов Pyflow, загрузите и установите пакет, соответствующий вашей платформе.
Взаимодействие с виртуальным окружением Pyflow
Чтобы создать новое виртуальное окружение в Pyflow, сначала создайте проект:
pyflow new my_project
Уникальная особенность Pyflow: он предложит вам версию Python. Кроме того, если вы укажете версию, которая еще не установлена, он установит ее для вас довольно быстро (не компилируя с нуля, как это делает pyenv).
Затем сделайте новый каталог текущим рабочим каталогом:
cd my_project
Когда виртуальное окружение потребуется в первый раз, оно будет создана автоматически.
Чтобы запустить Python в виртуальном окружении, сделайте следующее:
pyflow python
Фактически, вы можете выполнить любую команду, доступную в окружении, выполнив pyflow нужная-команда. Это сокращение от pyflow run нужная-команда.
Не существует способа активации виртуального окружения, специфичного для Pyflow. Покопаться в установленном виртуальном окружении можно так:
.\__pypackages__\3.8\.venv\Scripts\Activate.ps1
Это для Windows Powershell. Для Mac или Linux используйте следующее:
source ./__pypackages__/3.8/.venv/bin/activate
Однако у нас есть подозрение, что Pyflow предполагается пользоваться не так. Лучше запускайте все с помощью pyflow нужная-команда или pyflow python.
Установка пакетов в Pyflow
Как и во многих других инструментах, в Pyflow для установки пакетов не используется pip install. Вместо этого команда pyflow install установит пакеты в виртуальное окружение и добавит их в pyproject.toml.
pyflow install arrow
Прочие команды Pyflow можно увидеть, выполнив pyflow help.
pyenv-virtualenv
Если вы хотите использовать virtualenv для управления виртуальными окружениями, а также управлять несколькими версиями Python, вам может подойти pyenv-virtualenv.
Не используйте pyenv (или любой другой инструмент управления версиями Python), если вы не уверены, что он вам действительно нужен.
pyenv не предназначен для управления виртуальными окружениями. Он управляет версиями Python. Другими словами, чтобы понять, сможет ли pyenv решить какие-либо из ваших проблем, сперва оцените свои потребности и возможности самого pyenv.
Установка pyenv-virtualenv
pyenv-virtualenv – это плагин для pyenv, поэтому его необходимо установить.
Для этого следуйте официальной документации или используйте автоматический установщик. Автоматический установщик – это просто curl https://pyenv.run | bash.
pyenv не работает в Windows. Существует форк pyenv для Windows. Однако, похоже, он несовместим с плагинами pyenv, такими как pyenv-virtualenv.
Взаимодействие с виртуальным окружением с помощью pyenv-virtualenv
Чтобы создать новое виртуальное окружение с помощью pyenv-virtualenv, выполните следующую команду:
pyenv virtualenv 3.8.5 venv38
Это создаст виртуальное окружение в текущем каталоге. Версия Python в окружении будет 3.8.5, а окружение будет иметь псевдоним venv38.
Если вы не уверены, какие версии Python доступны для использования pyenv:
pyenv versions
и/или:
pyenv install --list
После того, как вы успешно создали виртуальное окружение, оно должно появиться в списке:
pyenv virtualenvs
Виртуальные окружения имеют по две записи: длинные и более короткие псевдонимы.
Чтобы активировать виртуальное окружение вручную, можно использовать короткий псевдоним:
pyenv activate venv38
Отключение виртуального окружения:
pyenv deactivate
Обратите внимание, что pyenv-virtualenv предлагает дополнительную функцию, которая автоматически активирует виртуальные окружения, когда вы переходите в каталог с файлом .python-version, который содержит имя допустимого виртуального окружения. Это может быть достоинством, а может и раздражать — в зависимости от ваших личных шаблонов работы. В инструкциях по установке написано, как активировать эту фичу. Если вы использовали автоматический установщик и следовали его инструкциям, возможно, она уже включена.
Находясь в активированном виртуальном окружении, вы можете устанавливать пакеты с помощью pip, как указано в инструкциях venv выше.
Вы можете найти справку с помощью pyenv help и pyenv help virtualenv.
Conda
Conda – это не просто еще один пакет Python или менеджер окружений. Это альтернативная экосистема Python. Репозиторий пакетов conda отличается от репозитория PyPI, используемого большинством менеджеров пакетов. В репозитории Conda ~1500 пакетов. В репозитории PyPI ~ 150 000. Тем не менее, в Conda можно использовать pip, если вам это нужно.
Установка Conda
Если вам нужна большая установка Python и все инструменты, обратите внимание на Anaconda. Miniconda предоставляет инструмент командной строки conda и только те зависимости, которые необходимы для начала работы. Обычно этого хватает. Если вы не уверены, что вам подходит, Anaconda или Miniconda, есть полезное сравнение.
От редакции Pythonist. Можем предложить статью «Развертываем Anaconda – дистрибутив Python для data science».
Чтобы установить Miniconda, найдите соответствующий установщик, загрузите его и установите пакет. Есть вероятность, что ваш менеджер пакетов (apt, dnf, brew и т.д.) уже может иметь Conda.
Используя Bash, можно сделать следующее:
conda init bash conda config --set auto_activate_base false
Первая строка добавляет автоматическую активацию «базовой» среды Conda в ваш .bashrc файл. Вторая строка добавляет файл ~/.condarc с этой настройкой в ваш домашний каталог.
Взаимодействие с виртуальным окружением в Conda
Новые виртуальные окружения создаются при помощи команды conda create. При этом указывается имя окружения и версия python (рекомендуется):
conda create --name env38 python=3.8.5
После создания вы можете активировать виртуальное окружение:
conda activate env38
При активации нужно указывать то имя окружения, которое вы прописали при его создании.
Чтобы отключить виртуальное окружение:
conda deactivate
Команды conda activate и conda deactivate работают одинаково независимо от оболочки или платформы.
Установка пакетов с помощью Conda
Чтобы установить пакет с помощью Conda, используйте conda install. Но сперва убедитесь, что виртуальное окружение активировано (conda activate).
conda install arrow
Одна крутая вещь о Conda: она точно скажет вам, где и что будет делать.
Hatch
Hatch немного похож на Pyflow в том, что он модный (например, использует pyproject.toml), непонятный и выполняет множество функций.
Установка Hatch
Для установки Hatch мы предлагаем использовать pipx.
pipx install hatch
Взаимодействие с виртуальным окружением в Hatch
Чтобы создать новое виртуальное окружение с Hatch, сначала создайте проект:
hatch new my_project
hatch new автоматически создает виртуальное окружение. Вы можете сделать новый каталог текущим рабочим:
cd my_project
Затем используйте hatch shell, чтобы войти в виртуальное окружение. Вы должны иметь возможность запускать Python и т.д. из новой оболочки.
Установка пакетов в Hatch
Как и во многих других инструментах, в Hatch не используется pip install. Но hatch install установит всё необходимое в виртуальном окружении.
hatch install arrow
Другие команды можно посмотреть с помощью hatch -h.
Заключение
Виртуальные окружения Python — отличная вещь для удобной и безопасной работы. В этой статье мы разобрали самые разные инструменты Python для управления виртуальными окружениями. Выбор инструмента – дело субъективное. Прежде чем решить, подумайте о том, кто вы, что делаете с помощью Python и каковы ваши потребности и желания.
Вот несколько замечаний, которые могут помочь вам сориентироваться при выборе:
- Вы создаете пакет/проект и хотите иметь что-то вроде швейцарского ножа с кучей функций, да еще чтоб популярность этого инструмента в сообществе росла? Попробуйте Poetry.
- Вы минималист/традиционалист и гордитесь этим? Ваш выбор — venv (virtualenv, если дополнительный инструмент вас не покоробит)
- Пишете простой скрипт? Вам хватит и venv, если, конечно, у вас уже не установлен virtualenv.
- Хотите управлять разными версиями Python, а нужные вам пакеты хранятся в репозитории Conda? Тогда Conda.
- Хотите управлять разными версиями Python, но вам нужны не только пакеты Conda? pyenv-virtualenv.
- Вы любите новинки и готовы рискнуть, и тоже хотите управлять разными версиями Python? Pyflow.
- Занимаетесь наукой о данных? Остановитесь на Conda.
- Вы уже используете ___ и вам он нравится? Вот и пользуйтесь им дальше!
- Вы попробовали ___ и вам не понравилось? Используйте что-нибудь другое!
Перевод статьи «Python Tools for Managing Virtual Environments».
