Заметки — Игорь К.: заметки с тегом питон

API от платформы vc.ru

Mon, 18 Nov 2024 23:27:05 +0300

На ВиСи можно получить список статей определенного пользователя используя скрытый апи.

Что такое скрытый апи и как его найти, рассказывает Алексей Куличевский

На виси есть скрытый апи, находящийся по адресу

https://api.vc.ru/v2.8/

Ищется скрытый апи через консоль разработчика, в гугл хроме нажимаем ctrl+shift+С — переходим в вкладку Network

Для получения последний опубликованных статей пользователя
нужны следующие параметры отправляемые в гет запросе:

markdown: false — как отдаются статьи, на практике у меня всегда отдаются в html, не важно что стоит true или false
sorting: new — сортировка, можно использовать несколько видов: ’new’, ’hotness’, ’day’, ’week’, ’month’, ’year’, ’all’
lastId: 1628356 — с какого последнего айдишника статьи продолжать показ, в получаемом джайсоне выводятся 12 элементов.
lastSortingValue: 1730444607 — я не разобрался что это за параметр, без него работает корректно
subsitesIds: 287399 — ай-ди пользователя статьи которого нам нужны

Гет запрос отправляем на адрес

https://api.vc.ru/v2.8/timeline

Результат выполнения гет запроса — нам нужны поля id — айди статьи, title — название статьи, дата и дата модификации — дата время в виде временной метки UNIX (число секунд, прошедших с 1 января 1970 года)

Код на питоне, для получения последних 12 статей опубликованных пользователем

import requests
import json
import datetime

url="https://api.vc.ru"
v_api="/v2.8/"
metod="timeline"
all_url=url+v_api+metod

markdown="true"
subsitesIds="287399"
sorting= "new"

params = {"markdown": markdown,
          "sorting": sorting, 
          "subsitesIds": subsitesIds}

response=requests.get(all_url, params=params)

data = response.json()
items = data['result']['items']
for index, item in enumerate(items):
        item_data = item['data']        
        print(f"Элемент {index + 1}:")
        print(f"ID: {item_data['id']}")
        print(f"url: https://vc.ru/{item_data['id']}")
        print(f"Title: {item_data['title']}")
        print(f"дата публикации: {datetime.datetime.fromtimestamp(item_data['date'])}")
        print(f"дата модификации: {datetime.datetime.fromtimestamp(item_data['dateModified'])}")  
        print()

Результат выполнения, если нам нужно собрать все страницы, то необходимо в параметрах передавать lastId — последний в списке айди статьи, тогда следующие будут начиная с этого ай-ди.

У Александра Первушина на гитхабе проект vcru-api, где опубликовано описание других методов, с помощью которых можно получить другие сведения, например комментарии к статье — метод comments, текст статьи — метод content

Нашлась документация по API vc.ru, dtf.ru

API основы ВиСи — докумет в ноушене, может быть полезен
Описание версии апи 1.9 — Основа api api.yaml, общая страница на гитхабе
Описание версии апи 2.31

Не забывайте выбрать какой апи вы будете смотреть, в списке есть версия 2.31, на ноябрь 2024 года, используется версия 2.8

Дополнительные параметры которые можно посмотреть в методе timeline, оказывается можно передать несколько пользователей через запятую

Анализ пользователей vc.ru

На основании полученных данных можно провести анализ публикаций пользователей.
Например, пользователь Татьяна Боброва — с 15 апреля 2019 года по 22 ноября 2024 года опубликовала 5682 записи.

Тепловая карта количества постов по дням недели и часам публикации пользователь Татьяна Боброва

Тепловая карта общего количества реакций по дням недели и часам публикации пользователь Татьяна Боброва

Тепловая карта общего количества комментариев по дням недели и часам публикации пользователь Татьяна Боброва

Маркдаун в формат Эгеи

Thu, 14 Nov 2024 16:00:00 +0300

Эгея использует свой синтаксис, очень похожий на Markdown.

Иногда требуется опубликовать заметку которая сохранена в маркдаун разметке, например гугл документ можно экспортировать в маркдаун.

Для этого можно использовать скрипт на питоне

import re

def convert_to_egea(markdown_text):
    # Convert headers
    egea_text = re.sub(r'^### (.*)$', r'### \1', markdown_text, flags=re.MULTILINE)
    egea_text = re.sub(r'^## (.*)$', r'## \1', egea_text, flags=re.MULTILINE)
    egea_text = re.sub(r'^# (.*)$', r'# \1', egea_text, flags=re.MULTILINE)
    
    # Convert bold (leave as is)
    # Make sure to selectively replace *italic* with //italic// by considering ___not both_bold and italic___
    egea_text = re.sub(r'\*\*(.*?)\*\*', r'**\1**', egea_text)
    
    # Convert italic
    egea_text = re.sub(r'(?<!\*)\*(?!\*)(.*?)\*(?!\*)(?<!\*)', r'//\1//', egea_text)
    
    # Convert strikethrough (leave as is)
    egea_text = re.sub(r'~~(.*?)~~', r'--\1--', egea_text)
    
    # Convert links
    egea_text = re.sub(r'\[(.*?)\]\((.*?)\)', r'((\2 \1))', egea_text)
    
    # Convert blockquotes
    egea_text = re.sub(r'^> (.*)$', r'> \1', egea_text, flags=re.MULTILINE)
    
    # Convert unordered lists
    egea_text = re.sub(r'^\* (.*)$', r'- \1', egea_text, flags=re.MULTILINE)
    
    # Convert ordered lists
    egea_text = re.sub(r'^\d+\. (.*)$', r'1. \1', egea_text, flags=re.MULTILINE)
    
    # Convert images
    egea_text = re.sub(r'!\[(.*?)\]\((.*?)\)', r'\2 \1', egea_text)

    # Convert tables
    egea_text = re.sub(
        r'((?:\|.*\|\n)+)', 
        lambda match: f"-----\n{match.group(1)}-----\n", 
        egea_text
    )
  
    return egea_text

# Usage example:
markdown_text = """
# Заголовок первого уровня

## Заголовок второго уровня

### Заголовок третьего уровня

**Жирный текст**

*Курсивный текст*

~~Зачеркнутый текст~~

[Ссылка](http://example.com)

> Цитата

- Элемент ненумерованного списка

1. Элемент нумерованного списка

![Изображение](http://example.com/image.jpg)

**Основные выводы и тезисы мастер-класса Максима Ильяхова о соцсетях**

| Покупка | Ссылка в шапке Кнопка продажи Директ |
| one | two | three |
| 1 | 2 | 3 |
| raz | dva | tri |
| un | deux | trois |
"""

egea_text = convert_to_egea(markdown_text)
print(egea_text)

В переменную markdown_text — вставляем наш текст, на выходе получаем сконвертированный текс в переменной
egea_text

Результат выполнения, в разметке Эгея

Скрипт на гитхабе

Транскрибируем видео из телеграма

Fri, 12 May 2023 12:51:24 +0300

Когда требуется распознать видео с вебинара в телеграме, делаем следующее:

Скачиваем видео к себе на компьютер
Вытаскиваем аудиодорожку через ffmpeg

ffmpeg -i video1014957119.mp4 video1014957119.mp3

Транскрибируем через whisper-ctranslate2 в Гугл колаб

Фрагмент вебинара SEO c Ильей Карбышевом: «SEO для редакторов»

Расшифровка аудио и видео

Fri, 21 Apr 2023 15:13:37 +0300

Когда требуется расшифровать аудиофайл, или ролик с ютуба, я пользуюсь whisper или whisper-ctranslate2 в среде Гугл колаб

При использовании библиотеки whisper-ctranslate2 лучше использовать графическую карту — GPU. Меню → Среда выполнения → Сменить среду выполнения → GPU

# установка оригинального whisper
!pip install git+https://github.com/openai/whisper.git

# установка ffmpeg
!sudo apt update && sudo apt install ffmpeg

# установка whisper-ctranslate2
!pip install -U whisper-ctranslate2

# установка yt-dlp для сохранения видео с ютуба
!pip install yt-dlp

Двойной символ && используется для запуска двух команд одновременно, если первая команда завершена успешно. Это означает, что если первая команда возвращает ошибку, то вторая команда не будет выполнена.

Гитхаб whisper-ctranslate2

С декабря 2023 года выдается ошибка: «RuntimeError: Library libcublas.so.11 is not found or cannot be loaded»
Для исправления ошибки установите Cuda 11 командой:

!apt install libcublas11

Скачивать будем ролик Ильи Бирмана из лекции о понимании задачи

# качаем ролик id в mp3 в корень
!yt-dlp -x --audio-format mp3 -o ./birman_ponimanie_zadachi.mp3 -- PbnbwkoCQOE

Распознавать можно whisper-ctranslate2 — по моим наблюдением расшифровывает в 2—3 раза быстрее чем оригинальный whisper. На данный момент модель large-v2 самая полная.

#распознаем через whisper-ctranslate2
!whisper-ctranslate2 "birman_ponimanie_zadachi.mp3" --language Russian  -o ./result --model large-v2 --model_dir ./model

Результат в консоле будет появляться по мере распознавания. Результирующие файлы будут в папке result в форматах .json, .srt, .tsv, .txt и .vtt. Например, в txt — только текст, в tsv — таймкоды, в vtt и srt — субтитры.

Через оригинальный whisper имеет смысл распознавать на компьютерах без видеокарт, это долго, но работает. Whisper требует версию питона 3.8—3.10, на других версиях не заработает.

#распознаем через оригинальный whisper
!whisper "iliahov2.mp3" -o ./result --model large-v2 --model_dir ./model

Если вам нужно что-то распознать или транскрибацию провести. Пишите в телеграм, договоримся :—)

Выполняем SQL запрос в питоне

Thu, 20 Apr 2023 17:16:02 +0300

В питоне можно выполнить запрос к базе данных на SQL сервере, а ответ получить как датасет пандос.

Импортируем библиотеки, в примере мы будем подключаться к MS SQL серверу, но можно подключаться к другим базам данных, используя нужную библиотеку.

import pyodbc
import pandas as pd

В переменную con запишем подключение к SQL серверу

# создание подключения к базе данных
con = pyodbc.connect("Driver={SQL Server Native Client 11.0};"
                      "Server=NAME_SQL_SERVER;"
                      "Database=NAME_BASE;"
                      "Trusted_Connection=yes;")

Функция select — для быстрой отправки sql запроса, на входе sql запрос, на выходе результат выполнения

# функция отправки запроса к базе sql
def select(sql):
    return pd.read_sql(sql,con)

Используем тройные кавычки, для переноса построчно, иначе нужно писать в одну строку

# Переменной sql присваиваем запрос
sql='''

DECLARE
@today DATE,
@yesterday DATE

SELECT
@yesterday = DATEADD(day, -1, CAST(GETDATE() AS date))  --вчера в виде даты без времени
,@today = CAST(GETDATE() AS date)  --сегодня в виде даты без времени

SELECT 
  *  
FROM table.data

WHERE
 DataZvonka <= @yesterday 
 and
 DataPrihoda >= @today

'''

Присваиваем датасету df, результат выполнения запроса sql

# создание датасета с данными запроса
df=select(sql)

Дальше можно производить вычисления в пандос, и делать что нужно с данными, например, записать в гугл таблицу, отправить в телеграм группу.

Отправляем новые статьи из РСС в телеграм

Mon, 10 Oct 2022 10:10:19 +0300

Удобно присылать новые ссылки на статьи моих подписок РСС в телеграм, так как вся коммуникация уже в нем, фидли почти не использую.

Евгений Гончаров, в статье «RSS фидер на Python с оправкой уведомлений в Телеграм» описал весь принцип отправки и использование базы данных для контроля что отправили. Готовый код на гитхабе Евгения

Я внес небольшие изменения в код:

Сообщения в телеграм отправляются с задержкой 1 секунда. Если не использовать таймаут, сервер телеграма, может отправить не все сообщения.
Изменил вид отправки сообщений: добавил переносы строк и автора, если он есть.

В канал телеграма приходят новые сообщения. Проверка РСС проходит с 7 утра до 11 вечера, с интервалом 30 минут.

Канал открытый, можно подписаться на «Почитаем», там 95 источников РСС: например, избранное блогов на Эгее, Илья Бирман, Максим Ильяхов, Николай Товеровский, и другие.

В примере скрипта: блоги на Эгее и мой блог.

Скрипт:

#!/usr/bin/python3
# Created by Yevgeniy Goncharov, https://sys-adm.in
# Script for reading and forwarding to Telegram, rss feeds


# Imports
import sqlite3
import requests
import feedparser
import os
import urllib
import random
import time

# Bot creds
bot_token = 'bot_token'
bot_chatID = 'bot_chatID'

# Feeds
myfeeds = [
    'https://blogengine.ru/blogs/rss/',
    'http://blog.fossko.ru/rss/',

]

# User agents
uags = [
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15',
  'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0',
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:77.0) Gecko/20100101 Firefox/77.0',
  'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
]

# Random User Agent (from uags list)
ua = random.choice(uags)

# Header
headers = {
  "Connection" : "close",  # another way to cover tracks
  "User-Agent" : ua
}

# Proxies
proxies = {
}

# DB
scriptDir = os.path.dirname(os.path.realpath(__file__))
db_connection = sqlite3.connect(scriptDir + '/rss.sqlite')
db = db_connection.cursor()
db.execute('CREATE TABLE IF NOT EXISTS myrss (title TEXT, date TEXT)')

# Get posts from DB and print
def get_posts():
    with db_connection:
        db.execute("SELECT * FROM myrss")
       # print(db.fetchall())

# Check post in DB
def article_is_not_db(article_title, article_date):
    db.execute("SELECT * from myrss WHERE title=? AND date=?", (article_title, article_date))
    if not db.fetchall():
        return True
    else:
        return False

# Add post to DB
def add_article_to_db(article_title, article_date):
    db.execute("INSERT INTO myrss VALUES (?,?)", (article_title, article_date))
    db_connection.commit()

# Send notify to Telegram bot
def bot_sendtext(bot_message):
    #bot_message = urllib.parse.quote(bot_message)
    bot_message = bot_message
    send_text = 'https://api.telegram.org/bot' + bot_token + '/sendMessage?chat_id=' + bot_chatID + '&parse_mode=Markdown&text=' + bot_message
    requests.get(send_text, proxies=proxies, headers=headers)
    print(send_text)

# Check, read articles
def read_article_feed(feed):
    """ Get articles from RSS feed """
    feedparser.USER_AGENT = ua
    feed = feedparser.parse(feed)
    print(feed)
    for article in feed['entries']:
        if article_is_not_db(article['title'], article['published']):
            add_article_to_db(article['title'], article['published'])
           # bot_sendtext('New feed found ' + article['title'] +', ' + article['link'] + ', ' + article['description'])
            try:
                rss_autor = article['author'] +'%0A%0A'
            except:
                rss_autor = ""
            MSGsend='*'+ article['title'] + '*%0A%0A' + rss_autor + article['link']
            MSGsend=MSGsend.replace("_", "\_")  # замена подчеркивания для отправки в ТГ
            bot_sendtext(MSGsend)            
            time.sleep(1)
           # print(article)

# Rotate feeds array
def spin_feds():
    for x in myfeeds:
       # print(x)
        read_article_feed(x)

# Runner :)
if __name__ == '__main__':
    spin_feds()
    # get_posts()
    db_connection.close()

Курс «Настройка Python для работы с данными»

Thu, 26 Aug 2021 12:11:21 +0300

Настройка Python для работы с данными — бесплатный видео мини-курс от Алексея Куличевского, начал выходить в августе 2021 года. Курс в виде рассылки, письма приходят на почту.

Алексей Куличевский рассказывает как пользоваться командной строкой, все на примере терминала мака. Если работаете в винде есть аналог, это cmd и PowerShell.

Совет от Алексея: На Windows команды могут отличаться, но их легко нагуглить запросом <название команды> windows. Например, «ls windows».

В курсе будут темы: установка Python и настройка виртуальных окружений, выбор и настройка редактора кода, основы работы c git и github, типовая структура проекта

Всего 6 писем, можно пройти за пару вечеров.

Основы работы с командной строкой

Устанавливаем Python, настраиваем виртуальные окружения

Редакторы кода

Системы контроля версий, Git и Github

Типовая структура проекта

Весь плейлист

Алексей анонсировал курс — Python для маркетологов и продактов, сейчас можно подписаться на рассылку и получать демо-уроки.

Авторизация на сайте через питон

Fri, 05 Feb 2021 15:11:29 +0300

По материалам статьи: Python requests. Авторизация на сайте

Я описал как парсить сайты через модуль requests. Бывают случаи когда для части сайта нужна авторизация, то есть логин и пароль.

Для авторизации нужно поддерживать активную сессию в модуле requests, через session.get()

session.get(url) вместо requests.get(url)

import requests
import re
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://freelance.ru/login/'

# Важно. По умолчанию requests отправляет вот такой 
# заголовок 'User-Agent': 'python-requests/2.22.0 ,  а это приводит к тому , что Nginx
# отправляет 404 ответ. Поэтому нам нужно сообщить серверу, что запрос идет от браузера  

user_agent_val = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'

# Создаем сессию и указываем ему наш user-agent
session = requests.Session()
r = session.get(url, headers = {
    'User-Agent': user_agent_val
})

# Указываем referer. Иногда , если не указать , то приводит к ошибкам. 
session.headers.update({'Referer':url})

В оригинальной статье было снимание куков, я не совсем понимаю когда использовать. В данном скрипе, я это не использую.

_xsrf = session.cookies.get('_xsrf', domain=".freelance.ru")

Дальше посылаем post-запрос

login = "xxxx"
passwd = "xxxx"

post_request = session.post(url, {
    'login': login ,
    'passwd': passwd,
    "check_ip": "on",
    "submit": "%C2%F5%EE%E4",
    "auth": "auth",
    "return_url": "/login/"
})

Для того чтобы узнать пост запрос, нужно зайти в инспектор кода, вкладка сеть, и найти запрос который посылается

В submit я подставил значение из не декодированного вида.

Теперь переходим в закрытый раздел, обновляем сессию и снимаем данные

url = "https://freelance.ru/setup/"
r = session.get(url)
soup = BeautifulSoup(r.text, "lxml")
soup

Мой рейтинг на этом сервисе.

Дальше можно снимать нужную информацию, используя BeautifulSoup

Для библиотеки Requests, есть хорошие статьи от Александра, pythonru

Краткое руководство по библиотеке Python Requests — рассказывает кратко, как пользоваться библиотекой.

Продвинутое руководство по библиотеке Python Requests — дополнительная информация, по объектам session, сертификатам SSL, прокси.

Парсинг сайтов через питон модулем selenium

Fri, 22 Jan 2021 17:03:17 +0300

Работа идет через модуль selenium, для него нужно скачать Chrome driver и браузер Chrome.
Важно чтобы версия браузера и Chrome driver была одна и та же

Версию браузера смотрим Справка → О браузере, и сверяемся с версией хром драйвер.

Чтобы точно быть уверенным, что все работает установите библиотеку selenium, импортируйте ее и запустите браузер через хром драйвер.

pip install selenium
from selenium.webdriver import Chrome
browser = Chrome ("d:\del\chromedriver_win32\chromedriver.exe")

Если все корректно, запускается хром в режиме: «Браузером управляет тестовое ПО»

В тестовом браузере будут выполнятся все команды.

Импортируем необходимые библиотеки

from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait as wait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException
from bs4 import BeautifulSoup
from time import sleep

Переход на сайт

url = "https://bus.gov.ru/registry"
browser.get(url)

В тестовом браузере открылся сайт https://bus.gov.ru/registry

Нужно ввести в строке поиска «онкологический диспансер»

Способ 1

input_el = browser.find_element_by_tag_name("input")
input_el.send_keys("онкологический диспансер")

Вводится наименование в поле input

Нажать энтер или кнопку найти.

Нажатие кнопки энтер:

input_el.send_keys(Keys.ENTER)

Нажатие кнопки найти:

browser.find_element_by_xpath("/html/body/div[2]/ui-view/form/div[2]/div/div[2]/div/button").click()

После выполнения кода браузер ищет диспансеры

Дальше работаем как при простом парсинге сайта

soup = BeautifulSoup(browser.page_source, "lxml")
soup

В переменной soup вся текущая страница

Смотрим где содержится название учреждения и ссылка на него

soup.find ("a", class_="result__button").get("href")
soup.find("a",class_="result__title").text

Для получения части ссылки используем запрос get, для названия text

Чтобы не искать по всей странице, можно оставить информацию которая нам нужна, она содержится к контейнере c классом results

orgs=soup.findAll("div",class_="result")
orgs

Содержимое всех контейнеров result

Обработка текущей страницы

data = []
for el in orgs:
    name = el.find("a", class_="result__title").text
    link = "https://bus.gov.ru/registry" + el.find("a", class_="result__button").get("href")
    #print (name, link)
    data.append([name,link])
data

Названия учреждений и ссылка на страницу с описанием

Нужно нажимать на страницу «следующая»

next_button = browser.find_element_by_class_name("pagination__next")
next_button.click()

Код нажимает на элемент с классом pagination__next

Готовый код для сбора всей информации

url = 'https://bus.gov.ru/registry'
browser.get(url)
sleep(5)
input_el = browser.find_element_by_tag_name('input')
input_el.send_keys('онкологический диспансер')
input_el.send_keys(Keys.ENTER)
sleep(5)

data = []


for i in range(10):
    
    soup = BeautifulSoup(browser.page_source, "lxml")
    orgs = soup.findAll('div', class_='result')
    
    for el in orgs:
        name = el.find('a', class_='result__title').text
        link = "https://bus.gov.ru"+el.find('a', class_='result__button').get('href')
        print(name, link)
        

        data.append([name, link])
        
    print(len(data))
    try:
        next_button = browser.find_element_by_class_name('pagination__next')
        next_button.click()
    except NoSuchElementException:
        continue
    sleep(6)

Все данные попадают в таблицу data, в ней столбец с наименованием и ссылка

Подробный вебинар про модуль selenium, используется среда разработки Анаконда с модулем Юпитер. Во второй части парсится сайт с судебными решениями.

Парсинг сайтов через питон

Thu, 21 Jan 2021 13:25:45 +0300

Устанавливаем и импортируем библиотеки в питон

pip install requests
pip install pandas
import requests
from bs4 import BeautifulSoup
import pandas as pd
from time import sleep

Переменной url присваиваем ссылку на страницу кинопоиска, в переменную r результат гет запроса к этой странице

url = "https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/"
r = requests.get(url)

Текстовое содержимое страницы сайта — r.text

Переведем содержимое страницы в формат кода

soup = BeautifulSoup(r.text, "lxml")

Содержимое переменной — soup

При помощи инспектора кода находим контейнеры с названием фильма, годом, названием на языке оригинала и баллом кинопоиска

russian_name = soup.find('div',class_ = "element").find('div', class_ = "info").find('a', class_ = "js-serp-metrika").text
russian_name
original_name = soup.find('div',class_ = "element").find('span', class_ = "gray").text
original_name
year = soup.find('div',class_ = "element").find('span', class_ = "year").text
year
kinopoisk = soup.find('div',class_ = "element").find('div', class_ = "rating").text
kinopoisk

Все данные по первому фильму встречающемуся на странице

Находим контейнер с кусочком кода и генерируем ссылку на фильм

link = "https://www.kinopoisk.ru" +soup.find('div',class_ = "element").find('div', class_ = "info").find('a').get("data-url")
link

Готовая ссылка на фильм и контейнер содержащий ссылку

Можно составить код, который сделает таблицу, содержащую все фильмы с данной таблицы

data = []
films =soup.findAll("div",class_ = "element")
for film in films:
    russian_name = film.find('div', class_ = "info").find('a', class_ = "js-serp-metrika").text
    original_name = film.find('span', class_ = "gray").text
    
    try:
        year = film.find('span', class_ = "year").text
    except:
        year = ""
    
    try:
        kinopoisk = film.find('div', class_ = "rating").text
    except:
        kinopoisk = ""
    
    link = "https://www.kinopoisk.ru" +film.find('div', class_ = "info").find('a').get("data-url")
  
    #print (russian_name)
    #print (original_name)
    #print (year)
    #print (kinopoisk)
    #print (link)
    data.append([russian_name, original_name,year,kinopoisk,link  ])

Содержимое таблицы data

Мы можем собрать все фильмы с одной страницы. Теперь нужно сделать цикл для сбора со всех страниц данного раздела. В этом разделе 11 страниц, значит нужен цикл для формирования списка страниц

for page in range(1,12):
    url = f"https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/order/relevant/page/{str(page)}/"
    print(url)

Результат выполнения цикла for с полученными страницами

Теперь можно дополнить весь код. Не забываем про слип, так как на многих сайтах стоит защита от парсинга

data = []

for page in range(1,12):
    url = f"https://www.kinopoisk.ru/s/type/film/list/1/find/%F1%E5%EA%F1/order/relevant/page/{str(page)}/"
    print(url)
    
    r = requests.get(url)
    sleep(40)
    soup = BeautifulSoup(r.text, "lxml")
    
    films = soup.findAll("div", class_ ="element")

    for film in films:
        
        russian_name = film.find("div", class_="info").find("a").text
       # print(russian_name)
    
        original_name = film.find("div", class_="info").find("span", class_="gray").text
    
        year = film.find("span", class_="year").text

        try:
            year = film.find("div", class_= "span").text
        except:
            year = ""
        
        try:
            rate = film.find("div", class_= "rating").text
        except:
            rate = ""
    
        link = "https://www.kinopoisk.ru"+film.find("div", class_="info").find("a").get("data-url")
    
        data.append([russian_name, original_name, year, link])

По мере прохождения страниц, будут печатаются страницы на которых находится сейчас робот

Делаем заголовки таблицы и выгружаем в файл csv

header = ['russian_name', 'original_name', 'year', 'link']
df = pd.DataFrame(data, columns = header)
df.head()

df.to_csv("d:\data_kino.csv")

получившаяся таблица с выгрузкой

Можно и в питоне получить список всех ссылок на фильмы, работая с таблицей

for i in data:
    #print (i)
    link = i[3]
    print (link)

Вебинар курса «Веб-скрейпинг для журналистов. С программированием и без». Используется среда разработки Анаконда.