PROSEPT MATCHING - это веб-приложение, которое поможет специалистам быстро и эффективно сопоставлять товары производителя с товарами дилеров в БД и вести удобную статистику
Backend часть командного проекта в рамках Хакатона Яндекс Практикум Х Просепт "12.2023"
Ссылка на проект: prediction-service.ddns.net
В процессе разработки проекта были реализованы:
- интуитивно понятный интерфейс;
- предварительный анализ данных и машинное обучение;
- удобное хранение и работа с записями в БД.
- задачи анализа выполняются асинхронно в Celery.
- собирается статистика соответствий товаров за выбранный временной промежуток.
- по окончании анализа оператору приходит уведомление в Телеграм или письмо на почту.
Репозиторий включает в себя два файла docker-compose.yml и docker-compose.prod.yml, что позволяет развернуть проект на локальном или удалённом серверах.
Данная инструкция подразумевает, что на вашем локальном/удалённом сервере уже установлен Git, Python 3.10, пакетный менеджер pip, Docker, Docker Compose, утилита виртуального окружения python3-venv.
В проекте предусмотрена возможность запуска БД SQLite3 и PostgreSQL. Выбор БД осуществляется сменой значения DB_ENGINE на sqlite3 или postgresql. sqlite3 = SQLite3, postgresql = PostgreSQL.
В проекте настроена автодокументация с помощью Swagger. Для ознакомления перейдите по ссылке
С подробными инструкциями запуска вы можете ознакомиться ниже.
Склонируйте проект из репозитория:
git clone https://github.com/Prosept-4/backend_DjangoПерейдите в директорию проекта:
cd backend_Django/Перейдите в директорию docker и создайте файл .env:
cd docker/nano .envДобавьте строки, содержащиеся в файле .env.example и подставьте свои значения.
Пример из .env файла:
SECRET_KEY=DJANGO_SECRET_KEY # Ваш секретный ключ Django
DEBUG=False # True - включить Дебаг. Или оставьте пустым для False
IS_LOGGING=False # True - включить Логирование. Или оставьте пустым для False
ALLOWED_HOSTS=127.0.0.1 backend # Список адресов, разделенных пробелами
# Помните, если вы выставляете DEBUG=False, то необходимо будет настроить список ALLOWED_HOSTS.
# 127.0.0.1 и backend является стандартным значением. Через пробел.
# Присутствие backend в ALLOWED_HOSTS обязательно. Через название сервиса :
# docker-compose осуществляется отправка почтовых писем.
# БД выбирается автоматически на основе константы DB_ENGINE.
# Если DB_ENGINE = sqlite - используется SQLite3.
# Если DB_ENGINE = postgresql - используется PostgreSQL.
DB_ENGINE=postgresql
POSTGRES_USER=django_user # Ваше имя пользователя для бд
POSTGRES_PASSWORD=django # Ваш пароль для бд
POSTGRES_DB=django # Название вашей бд
DB_HOST=db # Стандартное значение - db
DB_PORT=5432 # Стандартное значение - 5432
EMAIL_HOST=smtp.yandex.ru # Адрес хоста эл. почты
EMAIL_PORT=465 # Порт эл. почты
EMAIL_USE_TLS=True/False # Использование TLS
EMAIL_USE_SSL=True/False # Использование SSL
EMAIL_HOST_USER=[email protected] # Адрес почты, с которой будут отправляться письма
EMAIL_HOST_PASSWORD=SecretPassword # Пароль почты, с которой будут отправляться письма
DEFAULT_FROM_EMAIL=[email protected] # Адрес почты, с которой будут отправляться письма
TELEGRAM_BOT_TOKEN=your_tg_bot_token # Токен вашего Telegram бота.
# При помощи Telegram будут отправляться сообщения о готовности анализа товаров.
В директории docker проекта находится файл docker-compose.yml, с помощью которого вы можете запустить проект локально в Docker контейнерах.
Находясь в директории docker выполните следующую команду:
Примечание. Если нужно - добавьте в конец команды флаг -d для запуска в фоновом режиме.
sudo docker compose -f docker-compose.yml upОна сбилдит Docker образы и запустит backend, frontend, СУБД, Celery, Redis и Nginx в отдельных Docker контейнерах.
По завершении всех операции проект будет запущен и доступен по адресу http://127.0.0.1/
Для остановки Docker контейнеров, находясь в директории docker выполните следующую команду:
sudo docker compose -f docker-compose.yml downЛибо просто завершите работу Docker Compose в терминале, в котором вы его запускали, сочетанием клавиш CTRL+C.
В проекте уже настроен Workflow для GitHub Actions.
Ваш GitHub Actions самостоятельно запустит:
- 🧪 Тесты: Запускаются тесты для проекта.
- 🏗️ Сборку образов: Git Action создает Docker-образы приложения.
- 🚀 Деплой: Образы отправляются на ваш репозиторий DockerHub, проект деплоится на сервер.
- ✉️ Уведомление: В случае успеха вы получите уведомление в Telegram.
Форкните репозиторий, перейдите в GitHub в настройки репозитория — Settings, найдите на панели слева пункт Secrets and Variables, перейдите в Actions, нажмите New repository secret.
Создайте следующие ключи:
Примечание. При подключении к вашему удалённому серверу воркер GitHub Actions создаст .env файл, создаст БД и запустит контейнер с backend'ом, используя эти константы.
# Общие секреты
DOCKER_USERNAME (Ваш логин в DockerHub)
DOCKER_PASSWORD (Ваш пароль в DockerHub)
HOST (IP адрес вашего удалённого сервера)
USER (Логин вашего удалённого сервера)
SSH_KEY (SSH ключ вашего удалённого сервера)
SSH_PASSPHRASE (Пароль вашего удалённого сервера)
TELEGRAM_TO (Ваш ID пользователя в Telegram)
TELEGRAM_BOT_TOKEN (Ваш ID пользователя в Telegram)
TELEGRAM_TOKEN (Токен вашего бота в Telegram)
# PostgreSQL
POSTGRES_USER(Ваше имя пользователя для бд)
POSTGRES_PASSWORD(Ваш пароль для бд)
POSTGRES_DB(Название вашей бд)
DB_HOST(Адрес бд. Стандартное значение - db)
DB_PORT(Порт бд. Стандартное значение - 5432)
# Django
SECRET_KEY(Ваш секретный ключ Django)
DEBUG(Вкл/выкл DEBUG)
IS_LOGGING(Вкл/выкл Логирование)
ALLOWED_HOSTS(Список адресов, разделенных пробелами)
DB_ENGINE(sqlite или postgresql)
EMAIL_HOST=(Адрес хоста эл. почты)
EMAIL_PORT=(Порт эл. почты)
EMAIL_USE_TLS=(Использование TLS)
EMAIL_USE_SSL=(Использование SSL)
EMAIL_HOST_USER=(Адрес почты, с которой будут отправляться письма)
EMAIL_HOST_PASSWORD=(Пароль почты, с которой будут отправляться письма)
DEFAULT_FROM_EMAIL=(Адрес почты, с которой будут отправляться письма)
Внимание! Для корректного отображения изображений не забудьте помимо localhost, 127.0.0.1 и backend добавить в ALLOWED_HOSTS доменное имя вашего сайта.
Внимание! Дальнейшие действия подразумевают что на вашем удалённом сервере Nginx установлен и настроен как прокси-сервер. Изначально Nginx в Docker-контейнере слушает порт 8500.
В локальном проекте замените в файле docker-compose.prod.yml названия образов в соответствии с вашим логином на DockerHub в нижнем регистре (Например your_username/matching_backend)
Аналогично измените названия образов и в файле main.yml, который находится в директории /.github/workflows/.
Подключитесь к вашему удалённому серверу любым удобным способом. Создайте в домашней директории директорию с названием prosept_matching и перейдите в неё.
mkdir prosept_matchingГотово.
Весь процесс автоматизирован! Как только вы инициируете коммит на локальной машине и отправите изменения на GitHub, GitHub Actions возьмёт дело в свои руки:
git add .git commit -m "Ваше сообщение для коммита."git pushПосле успешной отправки изменений перейдите в своём репозитории на GitHub во вкладку Actions. Вы увидите процесс работы Actions. После успешного окончания работы воркера в ваш Telegram придёт сообщение от бота:
Деплой проекта Prosept Matching успешно выполнен!
Данное сообщение означает что проект успешно запущен на сервере, проведены миграции и собрана статика backend'а.
После этого можно вернуться на удалённый сервер, в директорию prosept_matching и создать суперпользователя:
sudo docker compose -f docker-compose.production.yml exec -it matching-backend python manage.py createsuperuserВнимание! : Для полноценной работы проекта на вашем удалённом сервере должен быть установлен, настроен и запущен Nginx. Удостоверьтесь что в конфиге по вашему доменному имени настроена переадресация всех запросов на 127.0.0.1:8500 и добавлена переадресация заголовков.
Чтобы проект отвечал базовым стандартам безопасности необходимо настроить SSL сертификат.
Установите certbot:
sudo apt install snapdsudo snap install core; sudo snap refresh coresudo snap install --classic certbotsudo ln -s /snap/bin/certbot /usr/bin/certbotЗапустите sertbot и получите свой SSL сертификат:
sudo certbot --nginxПосле перезапустите Nginx:
sudo systemctl reload nginxsudo certbot certificatesПримечание. SSL-сертификаты от Let's Encrypt действительны в течение 90 дней. Их нужно постоянно обновлять. Если вы не хотите делать это самостоятельно, вы можете настроить автоматическое обновление сертификата с помощью команды ниже.
sudo certbot renew --dry-runТеперь вы можете получить доступ к сайту по его доменному имени.
Как только убедитесь, что все страницы отображаются корректно - можете начать приглашать пользователей для создания вакансий и подбора кандидатов.
Максим Головин
Кирилл Широков
Вы можете заглянуть в другие наши репозитории в наших профилях GitHub.