Заметки — Игорь К.: заметки с тегом аналитика

Как устроен маркетинг клиники «Сова»

Mon, 24 Feb 2025 11:25:01 +0300

Директор по маркетингу сети клиник «Сова» Марина Гребенникова, провела вебинар — 3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?

ВК: https://vk.com/video-215287702_456239037
Ютуб: https://www.youtube.com/watch?v=sc0Wforyp2c

Ключевые показатели в маркетинге медицины

Основной показатель — выручка по каждой клинике и юниту.
Анализируются ежедневные и ежемесячные данные для выявления отклонений.
Контролируются все каналы привлечения пациентов, включая лидогенераторы и личный кабинет.

Пример ежедневного отчета по выручки. Скриншот из вебинара „3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?“

Пример контроля входящих заявок, который проходит еженедельно. Скриншот из вебинара „3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?“

Анализ записей и отказов

Отслеживаются количество звонков и записи на прием.
Анализируются отказы по направлениям и регионам.
Важен анализ спроса и новых запросов для улучшения коммерческой стратегии.

Пример отслеживания количества звонков, контроля входящих заявок, который проходит еженедельно. Скриншот из вебинара „3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?“

Пример аналитики пациентов по каналам, проводится ежемесячно. Скриншот из вебинара „3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?“

Автоматизация аналитики

Разработка автоматизированного аналитического инструмента.
Использование различных источников данных, включая Яндекс.Метрику и Колтач.
Важность правильного сбора и анализа данных для принятия решений.

Пример разрабатываемой системы аналитики, и количество источников, которые используются в медицине. Скриншот из вебинара „3,5 миллиарда выручки и 30% роста за год. Как устроен маркетинг клиник «СОВА»?“

Использование подрядчиков и фрилансеров

Предпочтение штатным специалистам, погруженным в нюансы работы.
Подрядчики используются для SEO и тех поддержки.
Важность тесного контакта и профессиональной оценки для достижения результатов.

Анализ конкурентов

Процесс анализа конкурентов требует ручного труда и времени.
Используются данные с сайтов, агрегаторов и колл-центров.
Важно углубляться в анализ при появлении новых конкурентов.

Текстовая версия в блоге Ранг — https://rang.ai/blog/marketing-seti-sova

API от платформы vc.ru

Mon, 18 Nov 2024 23:27:05 +0300

На ВиСи можно получить список статей определенного пользователя используя скрытый апи.

Что такое скрытый апи и как его найти, рассказывает Алексей Куличевский

На виси есть скрытый апи, находящийся по адресу

https://api.vc.ru/v2.8/

Ищется скрытый апи через консоль разработчика, в гугл хроме нажимаем ctrl+shift+С — переходим в вкладку Network

Для получения последний опубликованных статей пользователя
нужны следующие параметры отправляемые в гет запросе:

markdown: false — как отдаются статьи, на практике у меня всегда отдаются в html, не важно что стоит true или false
sorting: new — сортировка, можно использовать несколько видов: ’new’, ’hotness’, ’day’, ’week’, ’month’, ’year’, ’all’
lastId: 1628356 — с какого последнего айдишника статьи продолжать показ, в получаемом джайсоне выводятся 12 элементов.
lastSortingValue: 1730444607 — я не разобрался что это за параметр, без него работает корректно
subsitesIds: 287399 — ай-ди пользователя статьи которого нам нужны

Гет запрос отправляем на адрес

https://api.vc.ru/v2.8/timeline

Результат выполнения гет запроса — нам нужны поля id — айди статьи, title — название статьи, дата и дата модификации — дата время в виде временной метки UNIX (число секунд, прошедших с 1 января 1970 года)

Код на питоне, для получения последних 12 статей опубликованных пользователем

import requests
import json
import datetime

url="https://api.vc.ru"
v_api="/v2.8/"
metod="timeline"
all_url=url+v_api+metod

markdown="true"
subsitesIds="287399"
sorting= "new"

params = {"markdown": markdown,
          "sorting": sorting, 
          "subsitesIds": subsitesIds}

response=requests.get(all_url, params=params)

data = response.json()
items = data['result']['items']
for index, item in enumerate(items):
        item_data = item['data']        
        print(f"Элемент {index + 1}:")
        print(f"ID: {item_data['id']}")
        print(f"url: https://vc.ru/{item_data['id']}")
        print(f"Title: {item_data['title']}")
        print(f"дата публикации: {datetime.datetime.fromtimestamp(item_data['date'])}")
        print(f"дата модификации: {datetime.datetime.fromtimestamp(item_data['dateModified'])}")  
        print()

Результат выполнения, если нам нужно собрать все страницы, то необходимо в параметрах передавать lastId — последний в списке айди статьи, тогда следующие будут начиная с этого ай-ди.

У Александра Первушина на гитхабе проект vcru-api, где опубликовано описание других методов, с помощью которых можно получить другие сведения, например комментарии к статье — метод comments, текст статьи — метод content

Нашлась документация по API vc.ru, dtf.ru

API основы ВиСи — докумет в ноушене, может быть полезен
Описание версии апи 1.9 — Основа api api.yaml, общая страница на гитхабе
Описание версии апи 2.31

Не забывайте выбрать какой апи вы будете смотреть, в списке есть версия 2.31, на ноябрь 2024 года, используется версия 2.8

Дополнительные параметры которые можно посмотреть в методе timeline, оказывается можно передать несколько пользователей через запятую

Анализ пользователей vc.ru

На основании полученных данных можно провести анализ публикаций пользователей.
Например, пользователь Татьяна Боброва — с 15 апреля 2019 года по 22 ноября 2024 года опубликовала 5682 записи.

Тепловая карта количества постов по дням недели и часам публикации пользователь Татьяна Боброва

Тепловая карта общего количества реакций по дням недели и часам публикации пользователь Татьяна Боброва

Тепловая карта общего количества комментариев по дням недели и часам публикации пользователь Татьяна Боброва

Когортный анализ в Tableau

Thu, 04 Apr 2024 21:40:01 +0300

При анализе данных о бизнесе требуется понять общее в поведении клиентов. Для этого мы объединяем их в группы по определенному признаку, например, времени регистрации — это называется когортой клиентов.

Коготный анализ помогает в принятии решения «стоит ли продолжать инвестировать в рекламу?»

Смотрим на динамику потраченных денег — это даст представление о окупаемости вложенных средств.
Смотрим как окупается реклама — если реклама окупается быстрее, это позволяет постоянно не привлекать новых клиентов.

Вебинар Анастасии Кузнецовой и Андрона Алексаняна — «Собираем дашборд с нуля. Аналитика данных. Tableau. Когортный анализ»

Очень здорово Анастасия показывает принцип сборки отчета в Bi системе Табло. Отчет можно попробовать повторить в других системах.

00:02:37 Как понять на основе данных — окупаемость инвестиций в рекламу
00:05:33 Детализация дэшборда по источникам и когортам
00:09:43 Как использовать заготовки блоков для упрощения верстки нового дэшборда
00:15:39 Верстка и использование готовых блоков — для экономии времени и ресурсов
00:19:19 Анализ данных и когортный анализ
00:22:30 Почему для разных типов бизнеса могут быть разные способы формирования когорт и атрибуции
00:29:09 Способы визуализации данных: таблицы и линейные графики. Добавление дополнительных столбцов в таблицу, например «сколько потрачено» для каждой когорты.
00:31:49 Как когортный анализ может помочь в принятии решений стоит ли продолжать рекламу
00:39:18 Почему поверхностные выводы могут привести к ошибочным решениям
00:58:17 Коготный анализ для определения приоритетной аудитории рекламы
01:09:27 Окупаемость рекламной кампании

Дашборд Анастасии Кузнецовой — Когортный анализ для маркетинга

Большой гайд по когортному анализу от Андрона Алексаняна, описывает зачем нужен когортный анализ и как провести его на SQL и Python.

Блокнот с колаба с кодом питона для проведения когортного анализа — используется библиотека pandas.

Техническая часть сквозной аналитики

Sat, 23 Mar 2024 12:43:24 +0300

Сквозная аналитика позволяет понять, какой канал рекламы приводит реальных клиентов и прекратить тратить на неэффективные каналы.
Павел Гаврилов рассказывает как организовать сквозную аналитику. Много информации про организацию и объединение данных

Павел Гаврилов, вебинар «Сквозная аналитика „для взрослых“»

00:03:56 Примеры сквозной аналитики
00:08:19 Создание справочника источников и правил привязок
00:12:37 Привязка сессий и сущностей к источникам
00:15:23 Привязка данных
00:19:09 Атрибуция данных
00:26:11 Рекомендации по атрибуции
00:41:35 Привязка контактов к заказам
00:43:47 Схема работы с данными

Все данные сходятся в базу данных на SQL, так данные хранятся у нас. Мы сами решаем какие манипуляции производить с данными

Виды атрибуции трафика

Как мы можем считать источники клиентов, каждая организация решает для себя.
Атрибуция позволяет видеть влияние различных источников на формирование заказов и принимать более обоснованные решения.

Первый или последний клик — учитывается во всей цепочке кликов, только первый или последний источник захода на сайт

Последний рекламный клик — учитывается только последний клик по рекламе

Последний не рекламный источник — учитывается не рекламный клик.

Учитываются все источники в определенной пропорции, может учитываться лишь часть источников

Пример организации связей в PowerBi

Схема миро с семинара

Результат сквозной аналитики

В результате сквозной аналитики могут получится интерактивные дэшборды, на основании которых принимаются решения

Интерактивная демонстрационная версия Elly на вымышленных данных. Листы можно переключать

Курс «Датасаенс на коленке» — о работе в Google-таблицах

Thu, 25 Jan 2024 15:28:12 +0300

В 2022 году проходил курс Алексея Куличевского «Датасаенс на коленке» — о работе в Google-таблицах: учимся считать метрики, делать сквозную аналитику и когортный анализ, составлять интерактивные дешборды, моделировать юнит-экономику.

После прохождения курса, я написал Алексею:

Это было очень интересно и полезно.
В блоке про когорты, понимаешь что от того как посчитаешь зависит результат. Причём отклонение в небольшую сторону порой дает противоположный результат.
Блок про дешборды один из самых интересных, после него понимаешь как устроены связи в таблицах, что из чего можно получить.
Самый главный навык, который тренируешь на курсе — умение гуглить. Разбиваешь на маленькие части и гуглишь.

Алексей выложил видеокурс в свободный доступ на ютубе — 29 уроков.

Бесплатный курс о работе в Google-таблицах — Ютуб плейлист

Содержание курса

У курса есть платная версия, в которой, помимо лекций еще есть десятки заданий и чат для их обсуждения.
Платная версия курса

Построение план-факта нарастающим итогом в гугл таблицах

Wed, 31 May 2023 15:56:30 +0300

Есть таблица у которой в каждой строке транзации, построим план-факт нарастающим итогом.

Исходная таблица: Дата совершения транзакции, вид транзакции, сумма транзакции

Добавим столбец который будет считать выручку, если возврат умножаем на -1

=ArrayFormula(IF(B2:B="возврат";C2:C*-1;C2:C))

Получаем столбец выручка, можем производить операции сложения.

На какую дату строить отчет, в нашем случае это вчерашний вечер

=TODAY()-1

Первый день месяца

=EOMONTH(B2;-1)+1

Последний день месяца

=EOMONTH(B2;0)

Количество дней в месяце

=DATEDIF(B3;B4+1;"D")

План в день = план в месяц / количество дней в месяце

Получившиеся ячейки, данные в оранжевых ячейках можно править

При помощи формул сложения и дат строим таблицу план-факт нарастающим итогом до текущей даты

Формула следующего дня

=IF(AND(F31+1<=$B$2;F31<>"");F31+1;"")

Формула проверяет выполнение двух условий с помощью функции AND():

Увеличенное на 1 значение ячейки F31 не должно превышать или быть равным значению, указанному в ячейке B2. Эта ячейка содержит дату отчета.
Сама ячейка F31 не должна быть пустой.
Если оба эти условия выполняются, то формула возвращает значение ячейки F31, увеличенное на 1. Если же одно из условий не выполняется, то формула возвращает пустую строку.

Вычисляем план, факт и процент выполнения плана на сегодня

Строим график сравнения плана и факта нарастающим итогом

Данные в таблице сгенерированы и обновляются при изменении.

При генерации использован следующий алгоритм:
Даты случайным образом генерируются от текущей даты три месяца назад

=RANDBETWEEN(EOMONTH(TODAY();-3);TODAY())

Вид транзакции формируется случайно: оплата или возврат
Сумма возврата между 100—500 ₽
Сумма оплаты между 100—3000 ₽

Итоговая таблица план-факта выручки

Сколько нужно зарабатывать в час, чтобы получать на руки 100 000 ₽?

Tue, 18 May 2021 10:04:30 +0300

Есть предприниматель, у которого организация с 6% налога на прибыль.
Работает один, сотрудников нет.

На руки хочет получать — 100 000 ₽
тогда зарплата до налогов будет — 114 934 ₽

зарплата до налогов = зарплата на руки / (100% – подоходный налог)

зарплата до налогов = 100 000 ₽ / (100% – 13%) = 114 934 ₽

Еще есть оплата в фонды: пенсионный фонд, социального страхования, медицинского страхования. Эти деньги работник не видит, но работодатель их платит, в среднем это около 35%. Для каждой организации и сотрудника разные отчисления

Тогда сумма которую работодатель заплатит за сотрудника будет — 155 172 ₽

сумма оплаты в фонды= зарплата до налогов × процент оплаты в фонды

сумма оплаты в фонды= 114 934 ₽ × 35% = 40 230 ₽

зарплата для работодателя  = зарплата до налогов + сумма оплаты в фонды

зарплата для работодателя  = 114 934 ₽ + 40 230 ₽ = 155 172 ₽

Еще есть различные накладные расходы организации: канцтовары, отправка заказных писем, банк-клиент, эцп и другие
Пусть накладные расходы составляют в среднем 10 000 ₽

Тогда организация должна потратить на сотрудника и накладные расходы — 165 172 ₽

У нас есть еще налог на прибыль — 6%
Считаем прибыль, с которой мы уплатим налог и получим 165 172 ₽

Прибыль до налогов = траты на сотрудника и накладные расходы / (100% – налог на прибыль)

Прибыль до налогов = 165 172 ₽ / (100% – 6%) = 175 715 ₽

Получается чтобы выплатить зарплату 100 000 ₽, организация должна заработать 175 172 ₽

Давайте посчитаем сколько нужно брать денег за час работы в зависимости от количества рабочих часов

В месяце 160 рабочих часов, если мы будем брать деньги за все рабочие часы, то час должен стоить — 1 098 ₽

Если работать по 16 часов в месяц, нужно брать за час почти 11 тысяч рублей

Можно подставить свои данные в таблицу с расчетами и посмотреть сколько «стоит» час вашей продуктивной работы

Быстрая оценка качества аудитории

Fri, 05 Mar 2021 11:26:14 +0300

Для быстрой оценки качества аудитории паблика соцсети, инстаграма или канала телеграма, используют «показатель вовлеченности по охвату» или ERR (Engagement Rate by Reach)

Для подсчета нужно взять среднее арифметическое показов постов за период и разделить на количество подписчиков. Полученное число перевести в проценты.

ERR = (Средний охват одного поста / Количество подписчиков) × 100%

Канал Максима Ильяхова имеет 52 000 подписчиков, в среднем просмотров одной записи — 15 000.
Показать вовлеченности канала Максима Ильяхова = 15 000 / 52 000 = 0,29 или 29%
Теперь это число можно сравнить с результатами других каналов.

Канал Ильи Бирмана — 9 000 подписчиков, просмотр постов — 3 200
Показатель вовлечености — 35%

Канал Бюро Горбунова — 5 800 подписчиков, просмотр постов — 1 700
Показатель вовлечености — 29%

При помощи быстрой оценки, можно сделать вывод, насколько лояльна аудитория канала.
Главное сравнивать каналы в одной сети и в одной категории.

Инстаграм Максима Ильяхова — 63 200 подписчиков, лайков поста — 1 800
Показатель вовлечености — 2,8%

Инстаграм Бюро Горбунова — 1 000 подписчиков, лайков поста — 20
Показатель вовлечености — 2%

Удобнее вставить данные в таблицу

Автор	ТГ	Инст
Ильяхов	29%	2,8%
Бирман	35%	—
Бюро	29%	2,0%

Показатели вовлечености каналов Ильяхова, Бирмана и Бюро Горбунова. Данные март 2021.

Данные вовлечености считают, когда идет закупка рекламного трафика, то есть нужно решить размещать свой контент на площадке.

Авторизация на сайте через питон

Fri, 05 Feb 2021 15:11:29 +0300

По материалам статьи: Python requests. Авторизация на сайте

Я описал как парсить сайты через модуль requests. Бывают случаи когда для части сайта нужна авторизация, то есть логин и пароль.

Для авторизации нужно поддерживать активную сессию в модуле requests, через session.get()

session.get(url) вместо requests.get(url)

import requests
import re
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://freelance.ru/login/'

# Важно. По умолчанию requests отправляет вот такой 
# заголовок 'User-Agent': 'python-requests/2.22.0 ,  а это приводит к тому , что Nginx
# отправляет 404 ответ. Поэтому нам нужно сообщить серверу, что запрос идет от браузера  

user_agent_val = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'

# Создаем сессию и указываем ему наш user-agent
session = requests.Session()
r = session.get(url, headers = {
    'User-Agent': user_agent_val
})

# Указываем referer. Иногда , если не указать , то приводит к ошибкам. 
session.headers.update({'Referer':url})

В оригинальной статье было снимание куков, я не совсем понимаю когда использовать. В данном скрипе, я это не использую.

_xsrf = session.cookies.get('_xsrf', domain=".freelance.ru")

Дальше посылаем post-запрос

login = "xxxx"
passwd = "xxxx"

post_request = session.post(url, {
    'login': login ,
    'passwd': passwd,
    "check_ip": "on",
    "submit": "%C2%F5%EE%E4",
    "auth": "auth",
    "return_url": "/login/"
})

Для того чтобы узнать пост запрос, нужно зайти в инспектор кода, вкладка сеть, и найти запрос который посылается

В submit я подставил значение из не декодированного вида.

Теперь переходим в закрытый раздел, обновляем сессию и снимаем данные

url = "https://freelance.ru/setup/"
r = session.get(url)
soup = BeautifulSoup(r.text, "lxml")
soup

Мой рейтинг на этом сервисе.

Дальше можно снимать нужную информацию, используя BeautifulSoup

Для библиотеки Requests, есть хорошие статьи от Александра, pythonru

Краткое руководство по библиотеке Python Requests — рассказывает кратко, как пользоваться библиотекой.

Продвинутое руководство по библиотеке Python Requests — дополнительная информация, по объектам session, сертификатам SSL, прокси.

Парсинг сайтов через питон модулем selenium

Fri, 22 Jan 2021 17:03:17 +0300

Работа идет через модуль selenium, для него нужно скачать Chrome driver и браузер Chrome.
Важно чтобы версия браузера и Chrome driver была одна и та же

Версию браузера смотрим Справка → О браузере, и сверяемся с версией хром драйвер.

Чтобы точно быть уверенным, что все работает установите библиотеку selenium, импортируйте ее и запустите браузер через хром драйвер.

pip install selenium
from selenium.webdriver import Chrome
browser = Chrome ("d:\del\chromedriver_win32\chromedriver.exe")

Если все корректно, запускается хром в режиме: «Браузером управляет тестовое ПО»

В тестовом браузере будут выполнятся все команды.

Импортируем необходимые библиотеки

from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait as wait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException
from bs4 import BeautifulSoup
from time import sleep

Переход на сайт

url = "https://bus.gov.ru/registry"
browser.get(url)

В тестовом браузере открылся сайт https://bus.gov.ru/registry

Нужно ввести в строке поиска «онкологический диспансер»

Способ 1

input_el = browser.find_element_by_tag_name("input")
input_el.send_keys("онкологический диспансер")

Вводится наименование в поле input

Нажать энтер или кнопку найти.

Нажатие кнопки энтер:

input_el.send_keys(Keys.ENTER)

Нажатие кнопки найти:

browser.find_element_by_xpath("/html/body/div[2]/ui-view/form/div[2]/div/div[2]/div/button").click()

После выполнения кода браузер ищет диспансеры

Дальше работаем как при простом парсинге сайта

soup = BeautifulSoup(browser.page_source, "lxml")
soup

В переменной soup вся текущая страница

Смотрим где содержится название учреждения и ссылка на него

soup.find ("a", class_="result__button").get("href")
soup.find("a",class_="result__title").text

Для получения части ссылки используем запрос get, для названия text

Чтобы не искать по всей странице, можно оставить информацию которая нам нужна, она содержится к контейнере c классом results

orgs=soup.findAll("div",class_="result")
orgs

Содержимое всех контейнеров result

Обработка текущей страницы

data = []
for el in orgs:
    name = el.find("a", class_="result__title").text
    link = "https://bus.gov.ru/registry" + el.find("a", class_="result__button").get("href")
    #print (name, link)
    data.append([name,link])
data

Названия учреждений и ссылка на страницу с описанием

Нужно нажимать на страницу «следующая»

next_button = browser.find_element_by_class_name("pagination__next")
next_button.click()

Код нажимает на элемент с классом pagination__next

Готовый код для сбора всей информации

url = 'https://bus.gov.ru/registry'
browser.get(url)
sleep(5)
input_el = browser.find_element_by_tag_name('input')
input_el.send_keys('онкологический диспансер')
input_el.send_keys(Keys.ENTER)
sleep(5)

data = []


for i in range(10):
    
    soup = BeautifulSoup(browser.page_source, "lxml")
    orgs = soup.findAll('div', class_='result')
    
    for el in orgs:
        name = el.find('a', class_='result__title').text
        link = "https://bus.gov.ru"+el.find('a', class_='result__button').get('href')
        print(name, link)
        

        data.append([name, link])
        
    print(len(data))
    try:
        next_button = browser.find_element_by_class_name('pagination__next')
        next_button.click()
    except NoSuchElementException:
        continue
    sleep(6)

Все данные попадают в таблицу data, в ней столбец с наименованием и ссылка

Подробный вебинар про модуль selenium, используется среда разработки Анаконда с модулем Юпитер. Во второй части парсится сайт с судебными решениями.

Парсинг сайтов через питон

Thu, 21 Jan 2021 13:25:45 +0300

Устанавливаем и импортируем библиотеки в питон

pip install requests
pip install pandas
import requests
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep

Переменной url присваиваем ссылку на страницу кинопоиска, в переменную r результат гет запроса к этой странице

url = "https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/"
r = requests.get(url)

Текстовое содержимое страницы сайта — r.text

Переведем содержимое страницы в формат кода

soup = BeautifulSoup(r.text, "lxml")

Содержимое переменной — soup

При помощи инспектора кода находим контейнеры с названием фильма, годом, названием на языке оригинала и баллом кинопоиска

russian_name = soup.find('div',class_ = "element").find('div', class_ = "info").find('a', class_ = "js-serp-metrika").text
russian_name
original_name = soup.find('div',class_ = "element").find('span', class_ = "gray").text
original_name
year = soup.find('div',class_ = "element").find('span', class_ = "year").text
year
kinopoisk = soup.find('div',class_ = "element").find('div', class_ = "rating").text
kinopoisk

Все данные по первому фильму встречающемуся на странице

Находим контейнер с кусочком кода и генерируем ссылку на фильм

link = "https://www.kinopoisk.ru" +soup.find('div',class_ = "element").find('div', class_ = "info").find('a').get("data-url")
link

Готовая ссылка на фильм и контейнер содержащий ссылку

Можно составить код, который сделает таблицу, содержащую все фильмы с данной таблицы

data = []
films =soup.findAll("div",class_ = "element")
for film in films:
    russian_name = film.find('div', class_ = "info").find('a', class_ = "js-serp-metrika").text
    original_name = film.find('span', class_ = "gray").text
    
    try:
        year = film.find('span', class_ = "year").text
    except:
        year = ""
    
    try:
        kinopoisk = film.find('div', class_ = "rating").text
    except:
        kinopoisk = ""
    
    link = "https://www.kinopoisk.ru" +film.find('div', class_ = "info").find('a').get("data-url")
  
    #print (russian_name)
    #print (original_name)
    #print (year)
    #print (kinopoisk)
    #print (link)
    data.append([russian_name, original_name,year,kinopoisk,link  ])

Содержимое таблицы data

Мы можем собрать все фильмы с одной страницы. Теперь нужно сделать цикл для сбора со всех страниц данного раздела. В этом разделе 11 страниц, значит нужен цикл для формирования списка страниц

for page in range(1,12):
    url = f"https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/order/relevant/page/{str(page)}/"
    print(url)

Результат выполнения цикла for с полученными страницами

Теперь можно дополнить весь код. Не забываем про слип, так как на многих сайтах стоит защита от парсинга

data = []

for page in range(1,12):
    url = f"https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/order/relevant/page/{str(page)}/"
    print(url)
    
    r = requests.get(url)
    sleep(40)
    soup = BeautifulSoup(r.text, "lxml")
    
    films = soup.findAll("div", class_ ="element")

    for film in films:
        
        russian_name = film.find("div", class_="info").find("a").text
       # print(russian_name)
    
        original_name = film.find("div", class_="info").find("span", class_="gray").text
    
        year = film.find("span", class_="year").text

        try:
            year = film.find("div", class_= "span").text
        except:
            year = ""
        
        try:
            rate = film.find("div", class_= "rating").text
        except:
            rate = ""
    
        link = "https://www.kinopoisk.ru"+film.find("div", class_="info").find("a").get("data-url")
    
        data.append([russian_name, original_name, year, link])

По мере прохождения страниц, будут печатаются страницы на которых находится сейчас робот

Делаем заголовки таблицы и выгружаем в файл csv

header = ['russian_name', 'original_name', 'year', 'link']
df = pd.DataFrame(data, columns = header)
df.head()

df.to_csv("d:\data_kino.csv")

получившаяся таблица с выгрузкой

Можно и в питоне получить список всех ссылок на фильмы, работая с таблицей

for i in data:
    #print (i)
    link = i[3]
    print (link)

Вебинар курса «Веб-скрейпинг для журналистов. С программированием и без». Используется среда разработки Анаконда.

Простая оценка проектов

Wed, 24 Jun 2020 15:49:18 +0300

Максим Дорофеев, публикует ролики оценки проектов.

Первый уровень это простая диаграмма работ.

Зная все работы которые есть в проекте, трудозатраты на эти работы, можно в прикинуть когда работы завершатся.

Например: Студент готовится к экзамену: делает шпаргалки к билетам, прогоняет тестово весь экзамен. На каждую шпаргалку уходит от 1 до 8 часов. Он сделал таблицу с описанием работ и оценкой трудозатрат. Заносит выполненные работы в столбец «дата завершения».

Таблица с исходными данными. Рекомендация: самая высокозатратная задача не должна быть больше в 10 раз чем самая малозатратная, в примере задачу по шпаргалке 14 билета разделили на три подзадачи.

При помощи формул, получаем таблицу, по которой можно построить диаграмму.

Очень удобно использовать именованные диапазоны. Тогда в формулах можно ссылаться на имя диапазона, а не на ячейку. Рекомендую вначале именованного диапазона ставить одинаковый символ, тогда вы быстро сможете найти нужный диапазон. Я ставлю символ подчеркивание «_»

В итоге можно построить диаграмму с линией тренда и определить что студент сделает все шпаргалки к 10 августа.

Ролик в котором Максим очень подробно рассказывает про эту таблицу.

Таблица в гугл таблицах, не забудьте сделать копию перед правкой.

Таблица из ролика в экселе.

Таблица для macOS numbers.