Рубрика: Фреймворк

Рубрики
Фреймворк

Работа с EMail

Как читать электронные письма в Python?

В ходе моего учебного процесса на паре было опробовано приложение, которое позволяло читать мои электронные письма, их удалять, писать и отправлять кому-либо от моего имени, как единичным письмом, так и рассылкой. Все это было реализовано с помощью встроенного модуля imaplib. Что вообще такое IMAP? IMAP — это стандартный протокол Интернета, который используется почтовыми клиентами для получения сообщений электронной почты с почтового сервера.
Начать я бы хотел с чтения отправленных мне писем. Для этого, нам не нужно ничего устанавливать, все модули, которые используются в этом руководстве, являются встроенными:

import imaplib
import email
from email.header import decode_header
import webbrowser
import os
# учетные данные
username = "youremailaddress @ provider.com"
password = "yourpassword"
def clean(text):
# чистый текст для создания папки
return "".join(c if c.isalnum() else "_" for c in text)

В данном блоке, мы импортировали необходимые модули, а затем указали учетные данные нашей электронной почты. Позже нам понадобится функция clean(), чтобы создавать папки без пробелов и специальных символов. Далее, мы подключаемся к серверу IMAP и так как я тестирую учетную запись gmail, то я использую сервер imap.gmail.com (для другой почты, необходим, соответственно, другой сервер):

# create an IMAP4 class with SSL
imap = imaplib.IMAP4_SSL("imap.gmail.com")
# authenticate
imap.login(username, password)

Далее, необходимо уже начинать получать электронные письма:

status, messages = imap.select("INBOX")
# количество популярных писем для получения
N = 3
# общее количество писем
messages = int(messages[0])

В данном блоке мы использовали метод imap.select(), который выбирает почтовый ящик (входящие, спам и т. Д.) и выбрали папку INBOX. Переменная messages содержит общее количество сообщений в этой папке (папке «Входящие»), а статус — это просто сообщение, которое указывает, успешно ли мы получили сообщение. Затем мы преобразовали сообщения в целое число, чтобы создать цикл for. Переменная N — это количество основных сообщений электронной почты, которые вы хотите получить, сейчас я буду использовать 3, давайте переберем каждое сообщение электронной почты, извлечем все, что нам нужно, и закончим наш код:

for i in range(messages, messages-N, -1):
# fetch the email message by ID
res, msg = imap.fetch(str(i), "(RFC822)")
for response in msg:
if isinstance(response, tuple):
# parse a bytes email into a message object
msg = email.message_from_bytes(response[1])
# decode the email subject
subject, encoding = decode_header(msg["Subject"])[0]
if isinstance(subject, bytes):
# if it's a bytes, decode to str
subject = subject.decode(encoding)
# decode email sender
From, encoding = decode_header(msg.get("From"))[0]
if isinstance(From, bytes):
From = From.decode(encoding)
print("Subject:", subject)
print("From:", From)
# if the email message is multipart
if msg.is_multipart():
# iterate over email parts
for part in msg.walk():
# extract content type of email
content_type = part.get_content_type()
content_disposition = str(part.get("Content-Disposition"))
try:
# get the email body
body = part.get_payload(decode=True).decode()
except:
pass
if content_type == "text/plain" and "attachment" not in content_disposition:
# print text/plain emails and skip attachments
print(body)
elif "attachment" in content_disposition:
# download attachment
filename = part.get_filename()
if filename:
folder_name = clean(subject)
if not os.path.isdir(folder_name):
# make a folder for this email (named after the subject)
os.mkdir(folder_name)
filepath = os.path.join(folder_name, filename)
# download attachment and save it
open(filepath, "wb").write(part.get_payload(decode=True))
else:
# extract content type of email
content_type = msg.get_content_type()
# get the email body
body = msg.get_payload(decode=True).decode()
if content_type == "text/plain":
# print only text email parts
print(body)
if content_type == "text/html":
# if it's HTML, create a new HTML file and open it in browser
folder_name = clean(subject)
if not os.path.isdir(folder_name):
# make a folder for this email (named after the subject)
os.mkdir(folder_name)
filename = "index.html"
filepath = os.path.join(folder_name, filename)
# write the file
open(filepath, "w").write(body)
# open in the default browser
webbrowser.open(filepath)
print("="*100)
# close the connection and logout
imap.close()
imap.logout()

Во-первых, range(messages, messages-N, -1), означает переход сверху вниз, то есть самые новые сообщения электронной почты имеют наивысший идентификационный номер, а первое сообщение электронной почты имеет идентификатор 1. Во-вторых, мы использовали метод imap.fetch(), который извлекает сообщение электронной почты по идентификатору, используя стандартный формат, указанный в RFC 822. После этого, мы анализируем байты, возвращаемые методом fetch(), на правильный объект Message и используем функцию decode_header() из email.header для декодирования темы электронного адреса в удобочитаемый юникод. После того, как мы напечатали отправителя электронной почты и тему, мы хотим извлечь тело сообщения. Мы проверяем, является ли электронное сообщение составным, а это означает, что оно состоит из нескольких частей. Например, сообщение электронной почты может содержать содержимое text/html и части text/plain, что означает, что у него есть HTML-версия и текстовая версия сообщения. Он также может содержать вложения файлов, мы обнаруживаем это по заголовку Content-Disposition, поэтому мы загружаем его в новую папку, созданную для каждого сообщения электронной почты, названного в честь темы. Объект msg, который является объектом сообщения модуля электронной почты, имеет много других полей для извлечения, в этом примере мы использовали только From и Subject, напишите msg.keys() и посмотрите доступные поля для извлечения, вы можете, например, получить дату отправки сообщения с помощью msg ["Date"]. Если же вам ничего не отправили, то он будет выводить «Писем нет».

Как удалить электронные письма в Python?

Чтобы автоматический удалять электронные письма в Python, мы все также используем встроенный модуль imaplib и начинаем с импорта необходимых модулей и указания учетных данных нашей учетной записи:

import imaplib
import email
from email.header import decode_header
# учетные данные
username = "youremailaddress @provider.com"
password = "yourpassword"

После этого, мы подключаемся к IMAP-серверу почтового провайдера:

# create an IMAP4 class with SSL
imap = imaplib.IMAP4_SSL("imap.gmail.com")
# authenticate
imap.login(username, password)

Далее, когда мы вошли в нашу учетную запись электронной почты, давайте выберем наш целевой почтовый ящик:

# select the mailbox I want to delete in
# if you want SPAM, use imap.select("SPAM") instead
imap.select("INBOX")

Итак, мы используем выбор почтового ящика с помощью метода imap.select(), после чего я выбрал папку INBOX. Теперь давайте выполним поиск писем, которые мы хотим удалить, по дате:

# для получения писем после определенной даты
status, messages = imap.search(None, 'SINCE "01-JAN-2020"')

status содержит строку, указывающую, был ли поиск успешно выполнен, messages возвращаются как список строки [[ASCII] почтовых идентификаторов, разделенных пробелом, преобразуем его в список целых чисел:

# преобразовать сообщения в список адресов электронной почты
messages = messages[0].split(b' ')
Теперь давайте переберем выбранные письма и отметим их как удаленные:
for mail in messages:
_, msg = imap.fetch(mail, "(RFC822)")
# вы можете удалить цикл for для повышения производительности, если у вас длинный список писем
# потому что он предназначен только для печати SUBJECT целевого электронного письма, которое нужно удалить
for response in msg:
if isinstance(response, tuple):
msg = email.message_from_bytes(response[1])
# расшифровать тему письма
subject = decode_header(msg["Subject"])[0][0]
if isinstance(subject, bytes):
# if it's a bytes type, decode to str
subject = subject.decode()
print("Deleting", subject)
# отметить письмо как удаленное
imap.store(mail, "+FLAGS", "\\Deleted")

Наконец, мы выполняем метод imap.expunge(), который навсегда удаляет сообщения, помеченные как удаленные, так же закрываем почтовый ящик и выходим из аккаунта:

# навсегда удалить письма, помеченные как удаленные
# из выбранного почтового ящика (в данном случае INBOX)
imap.expunge()
# закрыть почтовый ящик
imap.close()
# выйти из аккаунта
imap.logout()

Как отправлять электронные письма с Python?

В данном разделе мы будем использовать сразу несколько модулей, а именно: smtplib, email, предназначенный для отправки различных типов вложений, таких как HTML-контент и двоичные файлы, а также библиотека BeautifulSoup (которую нужно будет заранее установить), позволяющая автоматически извлекать простой текст из HTML, не беспокоясь о регулярных выражениях.
Ну и как обычно, начинаем мы с импорта всех библиотек:

import smtplib
from email import encoders
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from bs4 import BeautifulSoup as bs

Далее, мы определяем наши параметры:

# ваши учетные данные
email = "email @ example.com"
password = "password"
# электронная почта отправителя
FROM = "from @example.com"
# адрес электронной почты получателя
TO = "to @example.com"
# тема письма (тема)
subject = "Just a subject"

Переменные email и password — это учетные данные адреса электронной почты, который вы хотите отправить, FROM и TO — это адрес электронной почты отправителя и адрес получателя соответственно (адрес электронной почты и FROM обычно совпадают), а subject — это заголовок (или тема) письма, которое мы отправим.
Убедившись в том, что значения заданы правильно, вы можете отправить сообщения на несколько адресов электронной почты, просто используя их список переменной TO, а не единственный адрес.
Кроме того, мы будем использовать объект MIMEMultipart для одновременной передачи «альтернативы» в качестве подтипа, чтобы объединить две версии почты в одно сообщение с двумя вариантами отображения:

# инициализируем сообщение, которое хотим отправить
msg = MIMEMultipart("alternative")
# установить адрес электронной почты отправителя
msg["From"] = FROM
# установить адрес электронной почты получателя
msg["To"] = TO
# задаем тему
msg["Subject"] = subject

Также, устанавливаем адреса электронной почты From, To и subject. Создадим тело сообщения:

# установить тело письма как HTML
html = """
This email is sent using <b>Python</b>!
"""
# делаем текстовую версию HTML
text = bs(html, "html.parser").text

В этом примере мы установили html как простое сообщение HTML, но вы можете прочитать его из почтового HTML шаблона, например:

# установить тело письма как HTML
html = open("mail.html").read()
# делаем текстовую версию HTML
text = bs(html, "html.parser").text

Далее, мы завершаем построение сообщения и смотрим, как оно выглядит:

text_part = MIMEText(text, "plain")
html_part = MIMEText(html, "html")
# прикрепить тело письма к почтовому сообщению
# сначала прикрепите текстовую версию
msg.attach(text_part)
msg.attach(html_part)
print(msg.as_string())

Теперь, когда у нас есть письмо, готовое к отправке, нужно создать функцию, которая принимает адреса электронной почты FROM и TO, а также фактическое сообщение, которое нужно отправить, и она отправляет нам электронное письмо:

def send_mail(email, password, FROM, TO, msg):
# инициализировать SMTP-сервер
server = smtplib.SMTP("smtp.gmail.com", 587)
# подключиться к SMTP-серверу в режиме TLS (безопасный) и отправить EHLO
server.starttls()
# войти в учетную запись, используя учетные данные
server.login(email, password)
# отправить электронное письмо
server.sendmail(FROM, TO, msg.as_string())
# завершить сеанс SMTP
server.quit()

Итак, сначала мы подключаемся к SMTP-серверу с помощью smtplib, в этом примере мы использовали SMTP-сервер Gmail с портом 587. Затем мы переводим соединение с SMTP-сервером в режим TLS для безопасности, и, наконец, мы входим в систему, используя данные учётной записи и завершаем сеанс после отправки нашего электронного письма. Server.sendmail() выполняет всю почтовую транзакцию. У метода есть несколько аргументов: адрес, отправляющий письмо (FROM), список адресов получателей письма (если это строка, то она будет рассматриваться как список с 1 адресом) и сообщение для отправки. Вызовем только что созданную функцию:

# отправить почту
send_mail(email, password, FROM, TO, msg)

Как итог, проделав все вышесказанные действия, вы сможете с легкостью взаимодействовать со своим Email благодаря и используя Python.

Рубрики
Фреймворк

Конспект: Рынок рекрутмента сегодня и завтра

После первой волны локдауна, рынок труда начал достаточно серьезно оживать с середины мая, был очень серьёзный тренд на восстановление. На текущий момент, где-то в середине октября случилась вторая волна. Хоть и не было глобальных, жестких ограничений, было замедление темпов роста. Активизация прошла по всем отраслям кроме наиболее пострадавших. Коррекция очень сильная наблюдается в медицине, и госслужбе. Рынок вообще очень инертно отреагировал на текущий так называемый кризис.

Прежде всего, самое главное изменение это кризис 90-х годов, кризис 2000-х… Основное действие, которое топ-менеджеры, владельцы бизнеса, предпринимали, это сокращение персонала. Сокращали издержки, сокращение персонала. В этот же кризис компании в большинстве своем, старались сохранить персонал в штате любой ценой. Вовлечение человека, особенно нового в структуру, очень дорого. Есть множество примеров. Сократили персонал и так далее, но эти компании, скорее всего и останутся в самом неудобном, самом не выгодном положении. Потому что рекрутмент сейчас вещь безумно дорогая. Дорогая, потому что задач, бизнесов в России становится радикально больше, а вот талантливых людей, которые могут реализовывать эти задачи, создавать дополнительное value бизнесу, их остается такое же количество, и за них конкуренция. Чтобы найти этих людей, конкуренция усиливается, безусловно.

С самого начала локдауна наблюдается следующая диспозиция, которая, традиционно срабатывает во времена кризиса. Люди поделились на три неравные группы. Первая группа – это те, кого уволили, они уже ищут работу, вот они создают активность на рынке. Вторые – это те, кто подозревает, что их могут уволить, и пытаются подстелить соломку до того, как это произойдет. И основная группа, которая радикально больше чем первые две, это группа людей, которые замерли. Они замерли, они стараются не менять коней на переправе. Лучше синица в руке, чем журавль в небе, времена не спокойные, и это вполне нормальная логика поведения. Поэтому больших всплесков, то есть активности на рынке, на текущий момент не видно. Как только будет более понятная ситуация прежде всего с ковидом, как его лечить, как от него вакцинироваться, и что делать, то гораздо проще. Спадет психологический напряг. Давление, которое оказывается на людей. Они более спокойно выйдут на рынок.

Когда высокая конкуренция, ты не расслабляешься, ты стараешься генерить  какие-то вещи, которые могут быть полезны клиенту. И любой кризис, это новые возможности. Сейчас происходит новый технологический уклад. Многие познакомились с «цифрой» даже не предполагая, что с ней придется с ней знакомиться, особенно у нас в России. Поэтому конкуренция – это здорово.

На западе другая модель традиционно сложилась. Модель потребления данных сервисов. Основной единицей является вакансии, в отличие от России. Здесь традиционно резюме. Люди стараются искать. Потому что столько общаться с клиентами для того, чтобы сделать какие-то удобные фичи, это нужно отдельные подходы, и наверное, отдельные душевные качества иметь надо.

Абсолютно каждый бизнес ощущает внушительность затрат на найм одного сотрудника. В среднем это около 4000 рублей. Но в РФ сам по себе рекрутинг по стоимости очень низок, чем в Европе. Например, то, что у нас может стоит 100 долларов, там может стоить 1000. И найм всегда имеет тенденцию удорожания (особенно в условиях дефицита), потому что конкуренция уже идет на международном рынке из-за интернета, а не только на российском. И если компания хочет конкурировать, то надо инвестировать. Но можно и удешевить эту стоимость за счет ведения кадровых резервов, сотрудничества с университетами, открытия своих обучающих школ и так далее. Также, самыми востребованными навыки являются: самоорганизация, вливание в команду и самая важная - ответственность за свою работу.

Рубрики
Фреймворк

Использование ggplot в Python: визуализация данных с помощью plotnine

Содержание

В этом уроке вы узнаете, как использовать ggplot Python для создания визуализаций данных с использованием грамматики графики. Грамматика графики-это высокоуровневый инструмент, который позволяет создавать графики данных эффективным и последовательным способом. Он абстрагирует большинство низкоуровневых деталей, позволяя вам сосредоточиться на создании значимых и красивых визуализаций для ваших данных.

Существует несколько пакетов Python, которые предоставляют грамматику графики. Этот учебник фокусируется на пакете plotnineએ, так как он является одним из самых зрелых. Plotnine основан на ggplot2 языке программирования R, поэтому, если у вас есть фон в R, то вы можете рассматривать plotnine как эквивалент ggplot2 в Python.

В этом уроке вы узнаете, как это сделать.:

  • Установите Plotnine и Jupyter Notebook
  • Комбинируйте различные элементы грамматики графики
  • Используйте plotnine для создания визуализаций эффективным и последовательным способом
  • Экспорт визуализаций данных в файлы

Этот учебник предполагает, что у вас уже есть некоторый опыт работы с Python и, по крайней мере, некоторые знания о Jupyter Notebook и pandas. Чтобы быстро разобраться в этих темах, ознакомьтесь с Jupyter Notebook: An Introduction и используйте Pandas и Python для изучения Вашего набора данных.

Настройка Вашего Окружения

В этом разделе вы узнаете, как настроить свою среду. Вы будете освещать следующие темы:

  1. Создание виртуальной среды
  2. Установка плотнина
  3. Установка Ноутбука Juptyer

Виртуальные среды позволяют устанавливать пакеты в изолированных средах. Они очень полезны, когда вы хотите попробовать некоторые пакеты или проекты, не мешая вашей общесистемной установке. Вы можете узнать больше о них в Python Virtual Environments: A Primer.

Выполните следующие команды, чтобы создать каталог с именем data‑visualization и виртуальную среду внутри него:

$mkdir data-visualization
$cd data-visualization
$python3 -m venv venv

После выполнения вышеуказанных команд вы найдете свою виртуальную среду внутри data‑visualizationкаталога. Выполните следующую команду, чтобы активировать виртуальную среду и начать ее использовать:

$ source ./venv/bin/activate

Когда вы активируете виртуальную среду, любой устанавливаемый вами пакет будет установлен внутри среды, не влияя на вашу общесистемную установку.

Затем вы установите plotnine внутри виртуальной среды с помощью установщика pipпакетов.

Установите plotnine, выполнив эту команду:

$pip install plotnine

Выполнение приведенной выше команды делает plotnineпакет доступным в вашей виртуальной среде.

Наконец, вы установите Jupyter Notebook. Хотя это не совсем необходимо для использования plotnine, вы найдете Jupyter Notebook действительно полезным при работе с данными и построении визуализаций. Если вы никогда раньше не пользовались этой программой, то можете узнать о ней больше в Jupyter Notebook: An Introduction.

Чтобы установить Jupyter Notebook, используйте следующую команду:

$ pip install jupyter

Поздравляю, теперь у вас есть виртуальная среда с установленным ноутбуком plotnine и Jupyter! С помощью этой настройки вы сможете запустить все примеры кода, представленные в этом руководстве.

Построение вашего первого участка с ggplotпомощью and Python

В этом разделе вы узнаете, как построить свою первую визуализацию данных с помощью ggplotPython. Вы также узнаете, как проверять и использовать примеры наборов данных, включенных в plotnine.

Примеры наборов данных действительно удобны, когда вы знакомитесь с функциями plotnine. Каждый набор данных представлен в виде фрейма данных pandas, двумерной табличной структуры данных, предназначенной для хранения данных.

В этом учебнике вы будете работать со следующими наборами данных:

  • economics: Временной ряд экономических данных США
  • mpg: Данные по экономии топлива для ряда транспортных средств
  • huron: Уровень озера Гурон между 1875 и 1972 годами

Полный список примеров наборов данных можно найти в справочникеplotnine.

Вы можете использовать Jupyter Notebook для проверки любого набора данных. Запустите Jupyter Notebook с помощью следующих команд:

$ source ./venv/bin/activate
$ jupyter-notebook

Затем, оказавшись внутри Jupyter Notebook, выполните следующий код, чтобы просмотреть необработанные данные в economicsнаборе данных:

from plotnine.data import economics

economics

Код импортирует economicsнабор данных из plotnine.dataнего и отображает его в таблице:

      date      pce      pop   psavert uempmed  unemploy
0   1967-07-01  507.4   198712  12.5    4.5     2944
1   1967-08-01  510.5   198911  12.5    4.7     2945
... ...         ...     ...     ...     ...     ...
572 2015-03-01  12161.5 320707  5.2     12.2    8575
573 2015-04-01  12158.9 320887  5.6     11.7    8549

Как вы можете видеть, набор данных включает экономическую информацию за каждый месяц между 1967 и 2015 годами. Каждая строка содержит следующие поля:

  • date: Месяц, когда были собраны данные.
  • pce: Расходы на личное потребление (в миллиардах долларов)
  • pop: Общая численность населения (в тысячах человек)
  • psavert: Норма личных сбережений
  • uempmed: Средняя продолжительность безработицы (в неделях)
  • unemploy: Число безработных (в тысячах человек)

Теперь, используя plotnine, вы можете создать график, чтобы показать эволюцию популяции на протяжении многих лет:

 1from plotnine.data import economics
 2from plotnine import ggplot, aes, geom_line
 3
 4(
 5    ggplot(economics)  # What data to use
 6    + aes(x="date", y="pop")  # What variable to use
 7    + geom_line()  # Geometric object to use for drawing
 8)

Этот короткий пример кода создает график из economicsнабора данных. Вот вам быстрая разбивка:

  1. Строка 1: вы импортируете economicsнабор данных.
  2. Строка 2: вы импортируете ggplot()класс, а также некоторые полезные функции из plotnineaes()и geom_line().
  3. Строка 5: вы создаете объект plot, используяggplot(), передавая economicsфрейм данных конструктору.
  4. Строка 6: вы добавляетеaes(), чтобы установить переменную для использования для каждой оси, в данном случае dateи pop.
  5. Строка 7: вы добавляетеgeom_line(), чтобы указать, что диаграмма должна быть нарисована в виде линейного графика.

Выполнение приведенного выше кода приводит к следующему результату:

Привет Плотнин пример

Вы только что создали сюжет, показывающий эволюцию популяции с течением времени!

В этом разделе вы увидели три обязательных компонента, которые необходимо указать при использовании грамматики графики:

  1. Данные, которые вы хотите построить
  2. Переменные, используемые на каждой оси
  3. Геометрический объект, используемый для рисования

Вы также видели, что различные компоненты объединяются с помощью +оператора.

В следующих разделах вы более подробно рассмотрите грамматики графики и способы создания визуализаций данных с помощью plotnine.

Понимание грамматики графики

Грамматика графики-это высокоуровневый инструмент, который позволяет описывать компоненты графики, абстрагируя вас от низкоуровневых деталей собственно рисования пикселей на холсте.

Это называется грамматикой, потому что она определяет набор компонентов и правила их объединения для создания графики, так же как грамматика языка определяет, как вы можете комбинировать слова и знаки препинания, чтобы сформировать предложения. Вы можете узнать больше об основах грамматики графики в книге Лиланда Уилкинсона "грамматика графики".

Существует множество различных грамматик графики, и они отличаются по компонентам и правилам, которые они используют. Грамматика графики, реализованная plotnine, основана на ggplot2языке программирования R. Эта специфическая грамматика была представлена в статье Хэдли Уикхема " многослойная грамматика графики.”

Ниже вы узнаете об основных компонентах и правилах графической грамматики плотнина, а также о том, как использовать их для создания визуализаций данных. Сначала вы перечислите три необходимых компонента для создания сюжета:

  1. Данные - это информация, используемая при создании графика.
  2. Эстетика (aes) обеспечивает сопоставление между переменными данных и эстетическими, или графическими, переменными, используемыми базовой системой рисования. В предыдущем разделе вы сопоставили переменные dateи popданные с эстетическими переменными по осям x и Y.
  3. Geometric objects (geoms) определяет тип геометрического объекта, который будет использоваться на чертеже. Вы можете использовать точки, линии, бары и многие другие.

Без любого из этих трех компонентов плотнин не знал бы, как нарисовать график.

Вы также узнаете о дополнительных компонентах, которые можно использовать:

  • Статистические преобразования определяют вычисления и агрегации, применяемые к данным перед их построением.
  • Шкалы применяют некоторые преобразования во время отображения от данных к эстетике. Например, иногда вы можете использовать логарифмическую шкалу, чтобы лучше отразить некоторые аспекты ваших данных.
  • Фасеты позволяют разделить данные на группы на основе некоторых атрибутов, а затем построить каждую группу на отдельной панели на том же графике.
  • Системы координат отображают положение объектов в 2D графическом расположении на графике. Например, вы можете перевернуть вертикальную и горизонтальную оси, если это имеет больше смысла в создаваемой визуализации.
  • Темы позволяют управлять визуальными свойствами, такими как цвета, шрифты и формы.

Не волнуйтесь, если вы не до конца понимаете, что такое каждый компонент прямо сейчас. Вы узнаете о них больше в этом уроке.

Построение графиков данных с использованием Python и ggplot

В этом разделе вы узнаете больше о трех необходимых компонентах для создания визуализации данных с помощью plotnine:

  1. Данные
  2. Эстетика
  3. Геометрический объект

Вы также увидите, как они объединяются для создания графика из набора данных.

Данные: источник информации

Ваш первый шаг при создании визуализации данных-это указание того, какие данные нужно построить. В plotnine это делается путем создания ggplotобъекта и передачи конструктору набора данных, который вы хотите использовать.

Следующий код создает ggplotобъект, используя набор данных примера экономии топлива plotnine, mpg:

from plotnine.data import mpg
from plotnine import ggplot

ggplot(mpg)

Этот код создает объект, принадлежащий классуggplot, используя mpgнабор данных. Обратите внимание, что, поскольку вы еще не указали эстетику или геометрический объект, приведенный выше код создаст пустой участок. Далее вы будете строить сюжет по частям.

Как вы уже видели ранее, вы можете проверить набор данных из записной книжки Jupyter с помощью следующего кода:

from plotnine.data import mpg

mpg

Эти две строки кода импортируют и показывают набор данных, отображая следующие выходные данные:

  manufacturer  model  displ  year  cyl  trans      drv  cty  hwy  fl  class
0 audi          a4      1.8   1999  4    auto(l5)   f    18   29   p  compact
1 audi          a4      1.8   1999  4    manual(m5) f    21   29   p  compact
2 audi          a4      2.0   2008  4    manual(m6) f    20   31   p  compact
...

Результатом является таблица, содержащая данные о расходе топлива для 234 автомобилей с 1999 по 2008 год. Поле Объем (displ) - это размер двигателя в литрах. cty и hwyэкономия топлива в милях на галлон для езды по городу и шоссе.

В следующих разделах вы узнаете, как превратить эти необработанные данные в графику с помощью plotnine.

Эстетика: определение переменных для каждой оси

После указания данных, которые вы хотите визуализировать, следующим шагом будет определение переменной, которую вы хотите использовать для каждой оси на графике. Каждая строка в фрейме данных может содержать много полей, поэтому вам нужно указать plotnine, какие переменные вы хотите использовать в графике.

Эстетика отображает переменные данных в графические атрибуты, такие как 2D-положение и цвет. Например, следующий код создает график, показывающий классы транспортных средств на оси x и расход топлива на шоссе на оси y:

from plotnine.data import mpg
from plotnine import ggplot, aes

ggplot(mpg) + aes(x="class", y="hwy")

Используя ggplotобъект из предыдущего раздела в качестве основы для визуализации, код отображает атрибут транспортного classсредства на горизонтальную графическую ось, а hwyэкономию топлива-на вертикальную ось.

Но сгенерированный график все еще пуст, потому что в нем отсутствует геометрический объект для представления каждого элемента данных.

Геометрические Объекты: Выберите Различные Типы Участков

После определения ваших данных и атрибутов, которые вы хотите использовать в графике, вам нужно указать геометрический объект, чтобы указать plotnine, как должны быть нарисованы точки данных.

plotnine предоставляет множество геометрических объектов, которые вы можете использовать из коробки, таких как линии, точки, полосы, полигоны и многое другое. Список всех доступных геометрических объектов доступен в справочнике geomsAPIplotnine.

Следующий код иллюстрирует, как использовать точечный геометрический объект для построения данных:

from plotnine.data import mpg
from plotnine import ggplot, aes, geom_point

ggplot(mpg) + aes(x="class", y="hwy") + geom_point()

В приведенном выше коде geom_point()выбирается точечный геометрический объект. Запуск кода приводит к следующему результату:

График, показывающий расход топлива для транспортных средств различных классов

Как вы можете видеть, сгенерированная визуализация данных имеет точку для каждого транспортного средства в наборе данных. Оси показывают класс транспортного средства и экономию топлива на шоссе.

Существует множество других геометрических объектов, которые можно использовать для визуализации одного и того же набора данных. Например, следующий код использует геометрический объект bar для отображения количества транспортных средств для каждого класса:

from plotnine.data import mpg
from plotnine import ggplot, aes, geom_bar

ggplot(mpg) + aes(x="class") + geom_bar()

Здесь geom_bar()геометрический объект устанавливается в положение bar. Поскольку код не указывает никакого атрибута для оси y, geom_bar()неявно группирует точки данных по атрибуту, используемому для оси x, а затем использует количество точек в каждой группе для оси Y.

Запустив код, вы увидите следующий вывод:

График количества транспортных средств в каждом классе с использованием баров

Высота каждой полосы на графике представляет собой количество транспортных средств, принадлежащих к соответствующему классу транспортных средств. Вы узнаете больше об агрегации данных и группировке последних разделов.

В этом разделе вы узнали о трех обязательных компонентах, которые необходимо указать при создании визуализаций данных:

  1. Данные
  2. Эстетика
  3. Геометрический объект

Вы также научились комбинировать их с помощью +оператора.

В следующих разделах вы узнаете о некоторых дополнительных компонентах, которые можно использовать для создания более сложной и красивой графики.

Использование дополнительных Python и ggplotфункций для улучшения визуализации данных

В этом разделе вы узнаете о дополнительных компонентах, которые можно использовать при построении визуализаций данных с помощью plotnine. Эти компоненты можно сгруппировать в пять категорий:

  1. Статистические преобразования
  2. Весы
  3. Система координат
  4. Грани
  5. Темы

Вы можете использовать их для создания более богатых и красивых сюжетов.

Статистические преобразования: агрегирование и преобразование ваших данных

Статистические преобразования применяют некоторые вычисления к данным перед их построением, например для отображения некоторого статистического показателя вместо исходных данных. plotnine включает в себя несколько статистических преобразований, которые вы можете использовать.

Допустим, вы хотите создать гистограмму для отображения распределения уровней озера Гурон с 1875 по 1975 год. Этот набор данных входит в состав plotnine. Вы можете использовать следующий код для проверки набора данных из Jupyter Notebook и узнать о его формате:

# Import our example dataset with the levels of Lake Huron 1875–1975
from plotnine.data import huron

huron

Код импортирует и показывает набор данных, производя следующие выходные данные:

    year  level   decade
0   1875  580.38  1870
1   1876  581.86  1870
...
96  1971  579.89  1970
97  1972  579.96  1970

Как вы можете видеть, набор данных содержит три столбца:

  1. year
  2. level
  3. decade

Теперь вы можете построить гистограмму в два этапа:

  1. Сгруппируйте измерения уровня в бункеры.
  2. Отображение количества измерений в каждом бункере с помощью гистограммы.

Следующий код показывает, как эти шаги могут быть выполнены в plotnine:

from plotnine.data import huron
from plotnine import ggplot, aes, stat_bin, geom_bar

ggplot(huron) + aes(x="level") + stat_bin(bins=10) + geom_bar()

В приведенном выше коде stat_bin()levelдиапазон делится на десять ячеек одинакового размера. Затем количество измерений, попадающих в каждую ячейку, рисуется с помощью гистограммы.

Запуск кода приводит к следующему графику:

Гистограмма уровня озера Гурон

Этот график показывает количество измерений для каждого диапазона уровней озера. Как видите, большую часть времени уровень находился между 578и.580

Для большинства распространенных задач, таких как построение гистограмм, plotnine включает в себя очень удобные функции, которые делают код более сжатым. Например, с geom_histogram()помощью, вы можете построить приведенную выше гистограмму следующим образом:

from plotnine.data import huron
from plotnine import ggplot, aes, geom_histogram

ggplot(huron) + aes(x="level") + geom_histogram(bins=10)

Использованиеgeom_histogram()-это то же самое, что использование stats_bin()и тогда geom_bar(). Запуск этого кода генерирует ту же самую графику, которую вы видели выше.

Теперь давайте рассмотрим другой пример статистической трансформации. Прямоугольная диаграмма-это очень популярный статистический инструмент, используемый для отображения минимальной, максимальной, выборочной медианы, первого и третьего квартилей и выбросов из набора данных.

Предположим, вы хотите построить визуализацию на основе одного и того же набора данных, чтобы показать прямоугольную диаграмму для измерений уровня каждого десятилетия. Вы можете построить этот участок в два этапа:

  1. Сгруппируйте измерения по десятилетиям.
  2. Создайте прямоугольную диаграмму для каждой группы.

Вы можете сделать первый шаг, используя factor()спецификацию эстетики. factor() группирует вместе все точки данных, имеющие одинаковое значение для указанного атрибута.

Затем, сгруппировав данные по десятилетиям ,вы можете нарисовать прямоугольную диаграмму для каждой группы с помощьюgeom_boxplot().

Следующий код создает график, используя шаги, описанные выше:

from plotnine.data import huron
from plotnine import ggplot, aes, geom_boxplot

(
  ggplot(huron)
  + aes(x="factor(decade)", y="level")
  + geom_boxplot()
)

Код группирует строки данных по десятилетиям с помощьюfactor(), а затем использует geom_boxplot()для создания коробчатых диаграмм.

Как вы видели в предыдущем примере, некоторые геометрические объекты имеют неявные статистические преобразования. Это очень удобно, так как делает ваш код более лаконичным. Использование geom_boxplot()подразумеваетstat_boxplot(), что заботится о вычислении квартилей и выбросов.

Запустив приведенный выше код, вы получите следующее графическое изображение:

Участок коробки уровня озера Гурон для каждого десятилетия

На графике показано распределение уровней воды с использованием коробчатого графика для каждого десятилетия.

Существуют и другие статистические преобразования, которые можно использовать для построения визуализаций данных с помощью ggplotPython. Вы можете узнать о них в документации plotnine's stats API.

Масштабирование: изменение масштаба данных в соответствии с его значением

Масштабы-это еще один вид преобразования, который можно применить при отображении от данных к эстетике. Они могут помочь сделать ваши визуализации более понятными.

В начале этого урока вы видели график, который показывал численность населения за каждый год, начиная с 1970 года. Следующий код показывает, как можно использовать шкалы для отображения прошедших лет с 1970 года вместо необработанных дат:

from plotnine.data import economics
from plotnine import ggplot, aes, scale_x_timedelta, labs, geom_line

(
    ggplot(economics)
    + aes(x="date", y="pop")
    + scale_x_timedelta(name="Years since 1970")
    + labs(title="Population Evolution", y="Population")
    + geom_line()
)

Использование scale_x_timedelta()преобразует значение x каждой точки, вычисляя его разницу с самой старой датой в наборе данных. Обратите внимание, что код также используется labs()для установки более описательной метки для оси y и заголовка.

Запуск кода показывает этот график:

График, показывающий Дельта-шкалу даты, метки и заголовки

Не изменяя данные, вы сделали визуализацию более понятной и дружественной для читателя. Как вы можете видеть, график теперь имеет лучшие описания, а ось x показывает прошедшие годы с 1970 года вместо дат.

plotnine предоставляет вам на выбор большое количество масштабных преобразований, включая логарифмические и другие нелинейные шкалы. Вы можете узнать о них в справочнике plotnine scales API.

Системы координат: отображение значений данных в 2D-пространство

Система координат определяет, как точки данных сопоставляются с 2D графическими местоположениями на графике. Вы можете думать о нем как о карте от математических переменных до графических позиций. Выбор правильной системы координат может улучшить читаемость визуализаций данных.

Давайте вернемся к предыдущему примеру гистограммы для подсчета транспортных средств, принадлежащих к различным классам. Вы создали сюжет, используя следующий код:

from plotnine.data import mpg
from plotnine import ggplot, aes, geom_bar

ggplot(mpg) + aes(x="class") + geom_bar()

Этот код используется geom_bar()для рисования полосы для каждого класса транспортных средств. Поскольку конкретная система координат не задана, используется система координат по умолчанию.

Запуск кода генерирует следующий график:

График количества транспортных средств в каждом классе с использованием баров

Высота каждой полосы на графике представляет собой количество транспортных средств в классе.

Хотя в приведенном выше графике нет ничего плохого, ту же самую информацию можно было бы лучше визуализировать, перевернув оси, чтобы отобразить горизонтальные полосы вместо вертикальных.

plotnine предоставляет несколько функций, которые позволяют изменять систему координат. Вы можете перевернуть оси с помощьюcoord_flip():

from plotnine.data import mpg
from plotnine import ggplot, aes, geom_bar, coord_flip

ggplot(mpg) + aes(x="class") + geom_bar() + coord_flip()

Код переворачивает оси x и y с помощьюcoord_flip(). Запустив код, вы увидите следующее графическое изображение:

Транспортные средства в каждом классе гистограмма с перевернутыми координатами

На этом графике показана та же информация, что и на предыдущем графике, но, перевернув оси, вы можете легче понять и сравнить различные бары.

Нет жесткого правила о том, какая система координат лучше. Вы должны выбрать тот, который лучше всего подходит для вашей проблемы и данных. Дайте им попробовать и сделать некоторые эксперименты, чтобы узнать, что работает для каждого случая. Более подробную информацию о других системах координат вы можете найти в справочнике API координатplotnine.

Фасеты: построение подмножеств данных на панелях в одном и том же графике

В этом разделе вы узнаете о гранях, одной из самых крутых особенностей plotnine. Фасеты позволяют сгруппировать данные по некоторым атрибутам, а затем построить каждую группу отдельно, но на одном изображении. Это особенно полезно, когда вы хотите показать более двух переменных на одном графике.

Например, предположим, что вы хотите взять набор данных об экономии топлива (mpg) и построить график, показывающий количество миль на галлон для каждого размера двигателя (displacement) для каждого класса транспортных средств за каждый год. В этом случае ваш график должен отображать информацию из четырех переменных:

  1. hwy: Мили на галлон
  2. displ: Размер двигателя
  3. class: Класс транспортного средства
  4. year: Модельный год

Это представляет собой сложную задачу, поскольку у вас больше переменных, чем графических измерений. Вы могли бы использовать 3D-перспективу, если бы вам нужно было отобразить три переменные, но четырехмерную графику трудно даже представить.

Есть двухэтапный трюк, который вы можете использовать, когда сталкиваетесь с этой проблемой:

  1. Начните с разбиения данных на группы, где все точки данных в группе имеют одинаковые значения для некоторых атрибутов.
  2. Постройте график каждой группы по отдельности, показывая только атрибуты, не используемые в группировке.

Возвращаясь к примеру, вы можете сгруппировать транспортные средства по классам и годам, а затем построить график каждой группы, чтобы показать водоизмещение и мили на галлон. С помощью этой методики была создана следующая визуализация:

Построение графика с использованием фасетов для отображения подзаголовков для классов транспортных средств и лет пример

Как вы можете видеть на приведенном выше рисунке, для каждой группы есть панель. Каждая панель показывает мили на галлон для различных перемещений двигателя, принадлежащих к этому классу транспортных средств и Году.

Эта визуализация данных была сгенерирована с помощью следующего кода:

from plotnine.data import mpg
from plotnine import ggplot, aes, facet_grid, labs, geom_point

(
    ggplot(mpg)
    + facet_grid(facets="year~class")
    + aes(x="displ", y="hwy")
    + labs(
        x="Engine Size",
        y="Miles per Gallon",
        title="Miles per Gallon for Each Year and Vehicle Class",
    )
    + geom_point()
)

The code partitions data by year and vehicle class using facet_grid(), passing it the attributes to use for the partitioning with facets="year~class". For each data partition, the plot is built using the components that you saw in previous sections, like aesthetics, geometric objects, and labs().

facet_grid() displays the partitions in a grid, using one attribute for rows and the other for columns. plotnine provides other faceting methods that you can use to partition your data using more than two attributes. You can learn more about them in plotnine’s facets API Reference.

Темы: улучшите внешний вид вашей визуализации

Еще один отличный способ улучшить представление ваших визуализаций данных - выбрать нестандартную тему, чтобы ваши графики выделялись, делая их более красивыми и яркими.

plotnine включает в себя несколько тем, которые вы можете выбрать. Следующий код генерирует ту же графику, что и в предыдущем разделе, но с использованием темной темы:

from plotnine.data import mpg
from plotnine import ggplot, aes, facet_grid, labs, geom_point, theme_dark

(
    ggplot(mpg)
    + facet_grid(facets="year~class")
    + aes(x="displ", y="hwy")
    + labs(
        x="Engine Size",
        y="Miles per Gallon",
        title="Miles per Gallon for Each Year and Vehicle Class",
    )
    + geom_point()
    + theme_dark()
)

В приведенном выше коде указание theme_dark()говорит плотнину нарисовать сюжет с использованием темной темы. Вот графическое изображение, сгенерированное этим кодом:

Темная тема плотнина

Как видно на рисунке, настройка темы влияет на цвета, шрифты и стили фигур.

theme_xkcd() это еще одна тема, которую стоит упомянуть, потому что она дает вам действительно классный комический вид. Это делает ваши визуализации данных похожими на комиксы xkcd:

Тема xkcd плотнина

Выбор правильной темы может помочь вам привлечь и удержать внимание вашей аудитории. Вы можете увидеть список доступных тем в справочнике plotnine themes API reference.

В предыдущих разделах вы узнали о наиболее важных аспектах грамматики графики и о том, как использовать plotnine для построения визуализаций данных. Использование ggplotв Python позволяет создавать визуализации постепенно, сначала фокусируясь на ваших данных, а затем добавляя и настраивая компоненты для улучшения их графического представления.

В следующем разделе вы узнаете, как использовать цвета и экспортировать свои визуализации.

Визуализация Многомерных Данных

Как вы видели в разделе о фасетах, отображение данных с более чем двумя переменными представляет некоторые проблемы. В этом разделе вы узнаете, как отображать три переменные одновременно, используя цвета для представления значений.

Например, возвращаясь к набору данных топливной экономичности (mpg), предположим, что вы хотите визуализировать связь между количеством цилиндров двигателя и топливной экономичностью, но также хотите включить информацию о классах транспортных средств в тот же график.

В качестве альтернативы фасетированию можно использовать цвета для представления значения третьей переменной. Чтобы достичь этого, вы должны сопоставить количество цилиндров двигателя с осью x и миль на галлон с осью y, а затем использовать различные цвета для представления классов транспортных средств.

Следующий код создает описанную визуализацию данных:

from plotnine.data import mpg
from plotnine import ggplot, aes, labs, geom_point

(
    ggplot(mpg)
    + aes(x="cyl", y="hwy", color="class")
    + labs(
        x="Engine Cylinders",
        y="Miles per Gallon",
        color="Vehicle Class",
        title="Miles per Gallon for Engine Cylinders and Vehicle Classes",
    )
    + geom_point()
)

Класс транспортного средства сопоставляется с графическим цветом, передавая color="class"эстетическое определение.

При запуске кода отображается эта графика:

Построение графика с использованием цветов для представления классов транспортных средств

Как вы можете видеть, точки имеют разные цвета в зависимости от класса, к которому принадлежит транспортное средство.

В этом разделе вы узнали еще один способ отображения более двух переменных на графике с помощью ggplotPython. Когда у вас есть три переменные, вы должны выбирать между использованием фасетов и цветов в зависимости от того, какой подход облегчает визуализацию данных.

Экспорт графиков в файлы

В некоторых ситуациях вам нужно будет сохранить созданные графики в графические файлы программно, а не показывать их в записной книжке Jupyter.

plotnine предоставляет очень удобный save()метод, который вы можете использовать для экспорта графика в виде изображения и сохранения его в файл. Например, следующий фрагмент кода показывает, как можно сохранить графику, показанную в начале руководства, в файл с именемmyplot.png:

from plotnine.data import economics
from plotnine import ggplot, aes, geom_line

myPlot = ggplot(economics) + aes(x="date", y="pop") + geom_line()
myPlot.save("myplot.png", dpi=600)

В этом коде вы сохраняете объект визуализации данныхmyPlot, а затем вызываете save()его для экспорта графического изображения в виде изображения и сохранения его какmyplot.png.

Вы можете настроить некоторые настройки изображения при использованииsave(), например, изображение точек на дюйм (dpi). Это действительно полезно, когда вам нужны высококачественные изображения для включения в презентации или статьи.

plotnine также включает в себя метод сохранения различных сюжетов в одном PDF-файле. Вы можете узнать об этом и посмотреть несколько интересных примеров в документацииplotnine save_as_pdf_pages .

Возможность экспорта визуализаций данных открывает множество возможностей. Вы не ограничены только просмотром ваших данных в интерактивном ноутбуке Jupyter-вы также можете создавать графики и экспортировать их для последующего анализа или обработки.

Вывод

Использование ggplotв Python позволяет создавать визуализации данных очень сжатым и последовательным способом. Как вы уже видели, даже сложные и красивые сюжеты могут быть сделаны с помощью нескольких строк кода с использованием plotnine.

В этом уроке вы узнали, как это сделать.:

  • Установите Plotnine и Jupyter Notebook
  • Комбинируйте различные элементы грамматики графики
  • Используйте plotnine для создания визуализаций эффективным и последовательным способом.
  • Экспорт визуализаций данных в файлы

В этом учебнике используются примеры наборов данных, включенных в plotnine, но вы можете использовать все, что узнали, для создания визуализаций из любых других данных. Чтобы узнать, как загрузить ваши данные в фреймы данных pandas, структуру данных, используемую plotnine, ознакомьтесь с использованием Pandas и Python для изучения Вашего набораданных .

Наконец, взгляните на документацию plotnine, чтобы продолжить свое путешествие ggplotв Python, а также посетите галерею plotnine для получения дополнительных идей и вдохновения.

Есть и другие пакеты визуализации данных Python, которые стоит упомянуть, такие как Altair и HoloViews. Взгляните на них, прежде чем выбрать инструмент для вашего следующего проекта. Затем используйте все, что вы узнали, чтобы построить некоторые удивительные визуализации данных, которые помогут вам и другим лучше понять данные!

Рубрики
Фреймворк

Конспект лекции "Изнанка e-commerce"

Сегодня все товары и услуги можно купить онлайн. Правда онлайн сегодня это неоднозначный ответ для компаний. Есть свои плюсы и минусы. В сложившийся ситуации складывается огромный рост данной индустрии. На примере гостя это 30-40 процентов за год. В электронной коммерции Россия отстает не сильно. Все что появляется на западе довольно быстро появляется и в России. Интернет бизнесу нужно, постоянно следить за трендами, если это не делать, то все обрушится.

Целевая аудитория покупателей онлайн также растет. Аудитория стала больше отсегментироваться. Сейчас происходит глобализация и все покупки происходят через маркетплейсы. Тотальный переход будет неэффективен, у людей остается желание покупать продукты вживую. В основном это категории женских товаров. В таком случае выгодно использовать оба варианта.

Самый важный момент — это анализировать рынок и прогнозировать. Сделать это можно на основании pest-анализа. Главное преимущество онлайн формата это возможность быстро реагировать на изменения рынка. Необходимо создавать бренд. Часто люди становятся реселлерами и необходимо умение выбирать товары. Резкие смены направления ниш не рекомендуется. В случае неудачи лучше поискать новые варианты получения прибыли на основе уже подобранного товара. Стоит действовать с точки зрения маркетинга. Изначально стоит идти с продуктом личного производства. Если такого нет, то можно копировать конкурентов.

Основные ошибки при создании интернет-магазина:

  • Первое и самое главное – это не знание того, что вы будете продавать, для этого нужно понять, что пользуется спросом. Многие люди сначала делают интернет-магазин, а уже потом думают и анализируют. Для начала нужно оценить рынок, свои возможности, свои желания, то есть, то, чем вы хотите заниматься.
  • Вторая ошибка – это то, что люди строят бизнес даже не имея представления что он из себя представляет, чтобы этого избежать, необходимо изучить базовые вещи либо найти специалиста в этом вопросе.

Сервис интернет магазина является важным моментом. Подход к продажам зависит от направления и ниши. Нужна золотая середина в количестве товаров и формате площадки продажи. Есть два варианта форматов площадки - интернет магазин либо лэндинг. Для двух либо трех товаров выгодней сделать лэндинг. Если больше, то необходимо сделать интернет магазин. К поиску необходимо отнестись максимально приоритетно. Сделать его удобным и понятным.

Рубрики
Фреймворк

Изнанка разработки ТЗ на сайт компании.

Этот конспект об изнанке разработки технического задания на сайт компании со слов интернет-маркетолога, Марией Крючковой.

 

 

Разработка сайта должна начинаться с технического задания. Техническое задание должно описывать структуру сайта, для кого он предназначен и какой функционал должен на нем присутствовать. Это интернет-магазин, это каталог с опцией заказа, это сайт для лидогенерации, для регистрации на какое-либо мероприятие. Весь функционал, что нужно для того, чтобы сайт был полноценным участником бизнес-процессов компании, должен быть описан максимально подробно.

Сайт – это такой продукт, требования к которому формируются по ходу разработки. То есть большинство заказчиков понимает, как должно быть, только когда уже видят готовый результат. То есть они понимают, что так не надо, а надо по-другому. Именно поэтому в техническое задание необходимо вынести критические какие-то вещи, ради которых сайт создается. А все остальное можно либо отнести на доработке, либо подойти достаточно гибко к процессу разработки, когда заказчик принимает участие в ходе всей разработки в том, чтобы формировать вот этот сайт по ходу пьесы. По моему опыту, конечно, это не выглядит как разработка в классическом представлении, когда сделали ТЗ, а далее, и потом получили готовый продукт. Но это наиболее безрисковый способ для бизнеса, у которого не так уж много денег для того, чтобы создать что-то предсказуемое, работоспособное, и то, что подходит именно ему.
Как оценить есть смысл создавать сайт? Смысл оценить очень легко. Нужно зайти в «WordStat», сервис «Яндекса», по оценке ключевых запросов. Набрать запросы, которые касаются тематики бизнеса, и увидеть есть ли поисковый трафик или нет. Если поисковый трафик в поисковых сетях есть, если эту услугу пользователь ищет, значит смысл делать сайт есть. И также зайти, естественно, в любой поисковик, набрать тематический запрос и посмотреть рекламируются ли конкуренты. Если конкуренты рекламируются, значит смысл есть.

Ошибки при разработке ТЗ:

Первая ошибка – это действительно набор хотелок, когда клиент предполагает, что он махнет в сторону сайта конкурента, который ему нравится, скажет, что я хочу точно такой же, только с перламутровыми пуговицами, и разработчик самостоятельно как-то там себе в голову уложит, откуда-то добудет информацию, и на выходе получится готовый продукт. Тогда разработка выглядит как такой черный ящик, куда забрасывается вот эти хотелки, забрасывается энное количество денег и потом на выходе ждется то, что оттуда не может выйти, то есть подходящий продукт. Получается сюрприз. И здесь нужно, наверное, провести такую аналогию. Нужно стать самому себе таким прорабом сайта. То есть представить, что аналогия, если, допустим, нужно построить дом, то нанимается прораб, а если прораба нет, тогда сам, нет средств на то, чтобы нанять прораба, тогда сам заказчик этого дома становится себе прорабом, включается очень подробно в процессы, максимально подробно рисует что он хочет, заказывает технический проект или как-то еще формирует, доводит свои хотелки до понятного исполнителем формата. И здесь та же самая история, то есть нужно максимально подробно отрисовать свой сайт в виде схемы, прописать какой контент есть для каждого раздела, что в каждом разделе должно происходить. Заодно определиться зачем это нужно, какую роль будет выполнять для бизнеса. И потом уже с вот этим идти оценивать к разработчику, к дизайнеру, опять к разработчику после того, как дизайнер оценил, и думать уже заранее какой контент будет подготавливаться, откуда его взять, нужно ли будет делать фотосъемку, кто будет обрабатывать существующие фотографии, кто напишет недостающие тексты. То есть это все нужно в своей голове, а потом на бумаге изложить. Чем лучше этот процесс будет продуман, тем меньше сюрпризов будет дальше.
Часто стоит уделять внимание конкурентам, что касается функционала, что касается логики продаж, если видно, что этот сайт успешный, есть инсайдерская информация, что он хорошо продает, это окей, это нормально. Что касается позиционирования, маркетинговой составляющей, то тут, конечно, имеет смысл подойти разумно.

К разработке сайта необходимо подходить самостоятельно

Сайт под ключ — это не универсальное решение. Сайт под ключ – это услуга, которую предлагают некоторые фрилансеры, мелкие агентства, и предполагается, что выбирается некий, то есть есть некий набор шаблонов, которые предлагает вот это конкретное агентство, из которых можно выбрать, и дальше они будут заточены под конкретный бизнес. Но нужно понимать, что это вполне себе хороший способ сэкономить для тех, кто на старте, но нужно понимать, что все равно на выходе получится полуфабрикат. И дальше вот этот полуфабрикат, который мы имеем на руках, нужно будет пойти и готовить самостоятельно для того, чтобы он стал работающим инструментом. Потому что, естественно, ни одно агентство, тем более такое недорогое, не будет погружаться плотно в тематику, не будет включаться и понимать, как выстроены процессы и почему один сайт в данной тематике успешен, другой нет. Это будет, скажем так, заготовка для будущего сайта на выходе.

Лендинг

Лендинг это инструмент. Одна и та же компания может использовать полноценный развитый портал и создавать большое количество лендингов под разные задачи. Для бизнеса, где, допустим, есть спонтанные покупки и один простенький товар, например, лендинг может быть хорошим вариантом. Лендинг прекрасный вариант для того, чтобы протестировать какую-то гипотезу. Это может быть достаточно экономично – создать, например, лендинг на «Tilda» своими силами, в конструкторе «Tilda», запустить на него трафик, быстренько проверить это работает или не работает. Если это работает, тогда уже создавать как полноценный сайт, полноценный процесс. Просто это инструменты под разные задачи. И было повальное такое увлечение лендингами несколько лет назад, которое выразилось в том, что компании, которым совершенно не подходил этот формат, бросали свои достаточно внятно работающие сайты и пересаживались на лендинг, потом они оказывались перед ситуацией, когда лендинг не продает, а старый трафик со старого сайта пропал, поскольку они повесили на свой основной домен этот лендинг. И что же нам теперь делать? Давайте продвинем по SEO лендинг в органическом трафике, давайте проведем трафик обратно. И приходилось объяснять, что извините, вы пришли в тупиковый путь развития, теперь вам нужно вернуться на шаг назад, реанимировать ваш сайт, уже апдейтить его под новые условия, а лендинг использовать по прямому его назначению.
Шаблон является каркасом, схемой, где можно посмотреть какие элементы каким образом расположены относительно друг друга, где что находится, данный шаблон не является работоспособным сайтом. Что касается дизайна, то необходимо закладывать на создание стилей для форматирования текстов. Это то, что придаст сайту достойный, симпатичный вид. Это разные цвета для заголовков, это маркированные, нумерованные списки, это оформление фотографий. Другими словами, изюминка для вашего сайта.
После того как работа сделана, её надо принять и обратить внимание на такие моменты как: соответствует ли данная работа прототипу, существуют ли несоответствия.
Затем следует установить счетчики аналитических систем «Яндекс. Метрика», «Google Analytics». Это очень существенно, потому что накопление статистики про своих пользователей – это реальный капитал любой компании.

Самое главное нельзя забывать про безопасность. Первое – необходимо заключать договор. Второе – доступ. Если уже есть раскрученный домен и сайт делается с нуля, то доступ нужно организовывать через НРЗБ аккаунт. В этой тематике есть еще много других подводных камней.

Рубрики
Фреймворк

Установка и простой проект BlueBream

Для начала установим Python версии 2.4 или выше. Также нам потребуется Distribute или Setuptools. Также необходимо установить компилятор языка C (GCC), иметь доступ в интернет, чтобы подключиться к PyPI, для загрузки сборщика и сборки приложения с помощью Buildout.
Доступ в интернет не обязателен при сборке, если используется пакет zc.sorcerelease.

После того как Вы установили Python, не забудьте изменить переменные среды и проверить успешность установки в командной строке посредством ввода команды "python". Установите PIP. Далее войдя в командную строку используйте следующую команду:
pip install bluebream
В результате Вы установите сам фреймворк и другие необходимые для него пакеты (Paste, PasteDeploy, PasteScript). Вывести список установленных пакетов можно следующей командой:
pip list
Команда для отображения устаревших пакетов:
pip list --outdated
Команда для обновления устаревшего пакета:
pip install package-name --upgrade
Команда для полной переустановки пакета:
pip install package-name --upgrade --force-reinstall
Команда для удаления пакета:
pip uninstall package-name

Для создания простого проекта вводим команду:
paster create SampleProject
Данная команда запустит мастер установки, нужно всего лишь ввести данные о проекте, а после можно реализовать сборку.

Рубрики
Фреймворк

Framework BlueBream

Что такое BlueBream?

BlueBream - готовый к использованию свободный/с открытым исходным кодом фреймворк для создания веб приложений, написанный на языке программирования Python. BlueBream предоставляет компонентную архитектуру, транзакционную объектную базу данных, хорошо интегрированную модель безопасности и много других возможностей.

Продолжить чтение "Framework BlueBream"