Заметки — Игорь К.: заметки с тегом автоматизация

Как я помог организовать мониторинг и сохранение публичных видеостримов

Sat, 07 Feb 2026 10:21:20 +0300

На стриминговых платформах трансляции часто запускаются без расписания. Страницы могут оставаться неактивными часами, а затем в любой момент переходить в режим прямого эфира. Если такие трансляции нужно фиксировать и сохранять, ручной контроль быстро перестаёт работать.

С такой задачей ко мне обратился заказчик. На тот момент он мониторил три модели и делал это вручную: открывал страницы, проверял статус, ждал начала эфира и запускал сохранение сам. Даже при таком объёме на это уходило много времени и внимания, а часть трансляций всё равно пропускалась.

Моя задача была в том, чтобы снять с человека постоянное дежурство и заменить его системой автоматического мониторинга, которую можно сопровождать, а не обслуживать вручную.

Контекст: стримы ведут модели

На платформе работают модели — живые авторы трансляций. Каждая из них выходит в эфир по собственному графику:

заранее неизвестно, когда начнётся трансляция;
страница большую часть времени неактивна;
прямой ссылки на видео нет до момента старта;
эфир может закончиться в любой момент.

Даже при работе с одной моделью это означает необходимость постоянно возвращаться к странице и проверять её состояние. В случае заказчика таких страниц было три — и уже на этом объёме ручной процесс стал трудоёмким и неудобным.

В чём была основная сложность

Проблема была не в сохранении видео как таковом, а в самом процессе наблюдения:

нужно регулярно проверять несколько страниц, чтобы не пропустить начало эфира;
невозможно надолго отвлечься без риска что-то упустить;
видео становится доступно только в момент начала трансляции;
внимание постоянно тратится на ожидание.

Даже три модели требуют постоянного внимания. При дальнейшем расширении списка моделей к этому добавляется ещё один слой сложности — ресурсный.

Как выстроена система мониторинга

Вместо ручных действий была выстроена система из нескольких специализированных скриптов. Каждый из них решает свою задачу и работает автоматически. В обычном режиме система не требует участия человека, но за ней нужно присматривать и периодически адаптировать под изменения — этим я и занимаюсь.

В упрощённом виде логика работы выглядит так:

Отслеживание состояния страниц. Скрипты регулярно проверяют состояние страниц и понимают, активна ли модель в данный момент. Если трансляции нет, система не выполняет лишних действий.
Режим ожидания. Пока эфиры не идут, мониторинг работает с минимальной нагрузкой и просто ждёт изменений.
Фиксация начала трансляции . Когда модель выходит в эфир, система автоматически фиксирует переход страницы в активное состояние.
Обнаружение видео. В момент начала трансляции система определяет, что на странице появилось активное видео и его можно сохранять.
Сохранение и продолжение мониторинга. После завершения эфира система возвращается в режим ожидания и продолжает работу без участия человека.

Почему такой формат оказался удобным

Такой подход оправдан уже даже при работе с одной моделью.
Трансляции запускаются нерегулярно, и чтобы не пропустить эфир, нужно постоянно проверять страницу или держать её открытой.

В случае с тремя моделями эта нагрузка просто утраивается: внимание распыляется, возрастает риск пропустить начало трансляции, а сам процесс превращается в постоянное ожидание.

Автоматический мониторинг снимает эту нагрузку: система сама следит за состоянием страниц и реагирует только тогда, когда действительно начинается трансляция.

При увеличении количества моделей появляется вторая задача — управление ресурсами:

возрастает нагрузка на сервер;
увеличивается потребление сетевой пропускной способности;
появляются ограничения по количеству параллельных операций.

В этом случае уже недостаточно просто «проверять чаще». Нужен подход, в котором мониторинг, нагрузка и объём данных находятся в балансе.

Автоматизация здесь — не отдельный инструмент, а часть процесса, который я настраиваю, сопровождаю и адаптирую под конкретные объёмы и условия работы.

Надёжность и длительная работа

Отдельное внимание уделено стабильности:

система рассчитана на длительную работу без остановок;
при отсутствии активности не расходует ресурсы;
корректно восстанавливается после временных сбоев;
по логам понятно, что происходит и в каком состоянии мониторинг.

Это позволяет использовать решение в повседневной работе без возврата к ручному контролю.

Результат

В итоге заказчик перестал тратить время на постоянное наблюдение даже за этими тремя страницами.
Мониторинг и сохранение трансляций выполняются автоматически, иногда нужно сопровождать систему, следить за состоянием и адаптировать под изменения.

Такие задачи редко удаётся закрыть одним готовым инструментом.
Обычно приходится учитывать особенности конкретной платформы, подстраивать логику мониторинга и со временем её поддерживать.

Google скрипт просит права сразу на все документы

Mon, 18 Dec 2023 11:33:08 +0300

Когда Google Apps Script просит доступ ко всем документам на гугл диске.
Чтобы избежать проблем с доступом, добавьте в шапку скриптов код:

/**
 * @OnlyCurrentDoc
 */

Код вставляется со всеми слешами и звездочками. Справка гугл документов

Парсим телеграм каналы агентств интернет-маркетинга

Tue, 28 Nov 2023 20:21:53 +0300

В гугл таблицах автоматически получим ссылки на телеграм каналы интернет-агентств.

Предыстория .У Павела Злобина вышла статья «Топ телеграм каналов про маркетинг» в которой описывает как можно получить телеграм каналы агентств.

В рейтинге рунета есть список топ-100 агентств, из списка мы можем получить название и ссылку на страницу о агентстве

Наименование агенства

=IMPORTXML(A1;"//table[@id='rating_table_id']/tbody/tr/td/div/a")

Ссылка на страницу

=IMPORTXML(A1;"//table[@id='rating_table_id']/tbody/tr/td/div/a/@href")

На подробной странице агентства может быть ссылка на телеграм и ВК, получим их

Ссылка на телеграм

=IFNA(IMPORTXML("https://ratingruneta.ru"&B4;"//a[@class='_1OOlgax2iF telegram']//@href");"")

Ссылка на ВК

=IFNA(IMPORTXML("https://ratingruneta.ru"&B4;"//a[@class='_1OOlgax2iF vkontakte']//@href");"")

Протягиваем формулы, и получаем готовую страницу

Таким же образом можно получить информацию о других рейтингах.

Ссылка на таблицу

Транскрибируем видео из телеграма

Fri, 12 May 2023 12:51:24 +0300

Когда требуется распознать видео с вебинара в телеграме, делаем следующее:

Скачиваем видео к себе на компьютер
Вытаскиваем аудиодорожку через ffmpeg

ffmpeg -i video1014957119.mp4 video1014957119.mp3

Транскрибируем через whisper-ctranslate2 в Гугл колаб

Фрагмент вебинара SEO c Ильей Карбышевом: «SEO для редакторов»

Расшифровка аудио и видео

Fri, 21 Apr 2023 15:13:37 +0300

Когда требуется расшифровать аудиофайл, или ролик с ютуба, я пользуюсь whisper или whisper-ctranslate2 в среде Гугл колаб

При использовании библиотеки whisper-ctranslate2 лучше использовать графическую карту — GPU. Меню → Среда выполнения → Сменить среду выполнения → GPU

# установка оригинального whisper
!pip install git+https://github.com/openai/whisper.git

# установка ffmpeg
!sudo apt update && sudo apt install ffmpeg

# установка whisper-ctranslate2
!pip install -U whisper-ctranslate2

# установка yt-dlp для сохранения видео с ютуба
!pip install yt-dlp

Двойной символ && используется для запуска двух команд одновременно, если первая команда завершена успешно. Это означает, что если первая команда возвращает ошибку, то вторая команда не будет выполнена.

Гитхаб whisper-ctranslate2

С декабря 2023 года выдается ошибка: «RuntimeError: Library libcublas.so.11 is not found or cannot be loaded»
Для исправления ошибки установите Cuda 11 командой:

!apt install libcublas11

Скачивать будем ролик Ильи Бирмана из лекции о понимании задачи

# качаем ролик id в mp3 в корень
!yt-dlp -x --audio-format mp3 -o ./birman_ponimanie_zadachi.mp3 -- PbnbwkoCQOE

Распознавать можно whisper-ctranslate2 — по моим наблюдением расшифровывает в 2—3 раза быстрее чем оригинальный whisper. На данный момент модель large-v2 самая полная.

#распознаем через whisper-ctranslate2
!whisper-ctranslate2 "birman_ponimanie_zadachi.mp3" --language Russian  -o ./result --model large-v2 --model_dir ./model

Результат в консоле будет появляться по мере распознавания. Результирующие файлы будут в папке result в форматах .json, .srt, .tsv, .txt и .vtt. Например, в txt — только текст, в tsv — таймкоды, в vtt и srt — субтитры.

Через оригинальный whisper имеет смысл распознавать на компьютерах без видеокарт, это долго, но работает. Whisper требует версию питона 3.8—3.10, на других версиях не заработает.

#распознаем через оригинальный whisper
!whisper "iliahov2.mp3" -o ./result --model large-v2 --model_dir ./model

Если вам нужно что-то распознать или транскрибацию провести. Пишите в телеграм, договоримся :—)

Выполняем SQL запрос в питоне

Thu, 20 Apr 2023 17:16:02 +0300

В питоне можно выполнить запрос к базе данных на SQL сервере, а ответ получить как датасет пандос.

Импортируем библиотеки, в примере мы будем подключаться к MS SQL серверу, но можно подключаться к другим базам данных, используя нужную библиотеку.

import pyodbc
import pandas as pd

В переменную con запишем подключение к SQL серверу

# создание подключения к базе данных
con = pyodbc.connect("Driver={SQL Server Native Client 11.0};"
                      "Server=NAME_SQL_SERVER;"
                      "Database=NAME_BASE;"
                      "Trusted_Connection=yes;")

Функция select — для быстрой отправки sql запроса, на входе sql запрос, на выходе результат выполнения

# функция отправки запроса к базе sql
def select(sql):
    return pd.read_sql(sql,con)

Используем тройные кавычки, для переноса построчно, иначе нужно писать в одну строку

# Переменной sql присваиваем запрос
sql='''

DECLARE
@today DATE,
@yesterday DATE

SELECT
@yesterday = DATEADD(day, -1, CAST(GETDATE() AS date))  --вчера в виде даты без времени
,@today = CAST(GETDATE() AS date)  --сегодня в виде даты без времени

SELECT 
  *  
FROM table.data

WHERE
 DataZvonka <= @yesterday 
 and
 DataPrihoda >= @today

'''

Присваиваем датасету df, результат выполнения запроса sql

# создание датасета с данными запроса
df=select(sql)

Дальше можно производить вычисления в пандос, и делать что нужно с данными, например, записать в гугл таблицу, отправить в телеграм группу.

Unpivot в Google Sheets

Thu, 02 Feb 2023 14:53:47 +0300

Что если у нас уже имеется возрастная когорта, без исходных данных.
Требуется из нее получить сколько денег мы заработали каждый месяц?

Есть когорта — в столбцах время прошедшее с момента месяца первой регистрации, строчки — время первой регистрации. Мы хотим ее перевернуть и получить данные по каждому месяцу

Вопрос: Как считали возраст? Между месяцами или между датами?

Если между датами, то 1-к-1 в календарную когорту перевести нельзя, так как у каждого юзера там свой собственный m0.

Если между месяцами, то можно просто “сдвинуть” все колонки вправо и заменить возраст на календарный месяц.

Мы считаем по второму варианту:

каждой оплате присваиваем первый день месяца оплаты,
каждой регистрации первый первый день месяца оплаты.

Наш вариант второй — между месяцами.

Наша когорта, линиями показано, из чего состоит каждый месяц.

Основная формула, для решения задачи:

OFFSET(C5,0,$B5))

возвращаем значение со сдвигом строки, для этого пронумеруем строки в минус.
Дальше if отрезает не нужное

Получившаяся помесячная когорта с выручкой.

Итоговая формула:

=IFERROR(IF(OFFSET(C3;0;$B3)=$B3;"";OFFSET(C3;0;$B3));"")

Таблица со всеми формулами

Типограф в гугл документах

Sun, 29 Jan 2023 15:46:28 +0300

Когда используешь гугл документы для набора текстов для печати, не хватает встроенного типографа. Типограф нужен для правильного проставления неразрывного пробела, знака тире, замены кавычек на правильные.

Скрипт от Глеба Керамского написан на google apps script и легко адаптируется

Скрипт работает только в текущем документе

В оригинале скрипт можно запускать в определенном документе, для этого:
открываем наш гугл документ и переходим в Apps Script

Меню — расширения — Apps Script

Копируем код из скрипта Глеба и вставляем в наш скрипт

У Глеба на гитхабе код лежит в файле Code.gs

Можно остановиться на этом, но лучше в только что созданный скрипт, добавить следующее

/**
 * @OnlyCurrentDoc
 */

Эта строчка позволит ограничить запуск скрипта текущим документом

Итоговый скрипт с нашим дополнением

Дальше мы сохраняем и переходим в гугл документ.

Для работы скрипта нужно перегрузить страницу, нажимаем CTRL+F5

После перезагрузки страницы в этом документе появился пункт меню — typograf, при нажатии на него текст будет отипографирован.

Если вы запускаете скрипт первый раз, будет предложено проверить разрешение скрипта. После разрешение текст будет отипографирован.

Пример до: висячие предлоги и дефис вместо тире.

После применения скрипта, висячие пробелы пропали и дефис поменялся на длинное тире. На самом деле тут после всех предлогов стали неразрывные пробелы.

Для применения скрипта нужно в каждом документе проделать следующие шаги:

Зайти в гитхаб и скопировать скрипт.
Добавить скрипт в google apps script.
Перезагрузить документ.
Выполнить скрипт.

Скрипт работает для любого документа к которому есть доступ.

Можно сделать один скрипт на все документы к которым есть доступ.
Для этого нужно сделать google apps script который не подключен к конкретному документу, для этого зайдите на гугл диск в любую папку, например «Скрипты», нажмите правой клавишей пункт Еще — google apps script

При таком создании, скрипт будет работать отдельно от документа

Рекомендую дать скрипту нормально название, например «Типограф», так будет проще искать по поиску на гугл диске.

Копируем в наш скрипт код из гитхаба Глеба.

Теперь нам нужно модифицировать скрипт

В функции typograf() комментируем строчку с выбором текущего файла, ставит две косые

//var body = DocumentApp.getActiveDocument().getBody();

Создаем новую переменную в которую будем вставлять урл нашего документа

var body = DocumentApp.openByUrl('https://docs.google.com/document/d/XXXXXXX');

Наши изменения скрипта

Сохраняем.

Теперь нам нужно подправить какой-то документ:

Копируем его полный адрес
Вставляем в переменную body — не забываем что адрес вставляется в одинарной в кавычках, у меня одинарная кавычка.

var body = DocumentApp.openByUrl('URL_DOC');

Сохраняем.

Осталось запустить, для этого в скрипте выбираем Типограф и кнопку «выполнить»

Если у вас не выбран типограф — нажимаем стрелочку вниз и выбираем.

Скрипт попросит авторизацию на возможное изменения всех документов, даем ему это разрешения.

После запуска скрипт запустится и оттипографирует ваш документ.

Если нужно, можно вставить ссылку на другой документ, а затем еще один.

Отправляем поток из РСС в телеграм через Google Apps Script

Thu, 22 Dec 2022 11:50:33 +0300

Обновляем канал «Почитаем…»
Теперь новые статьи будут приходить в канал автономно, через гугл таблицы и без участия локального сервера с питоном.
Раньше работало через питон и базу данных на sqlite3

В гугл таблице нам нужны три листа: rss, rss_data, error

rss — будем хранить рсс потоки сайтов,
rss_data — будем хранить базу данных что отпарсилось и что отправлено,
error — будем хранить ошибки при отладке, если это потребуется

На листе rss, в первой колонке перечислены все рсс-потоки, при необходимости добавить или удалить, делаем это здесь.

На листе rss_data, первая строчка с наименованием колонок

У меня сейчас 110 источников, когда идет запись в таблицу, скрипт не успевает обработать все данные, и отваливается по тайм-ауту гугла. После нескольких запусков он все ссылки обработает и начинает укладываться в тайминг.
Возможно, в будущем, нужно скрипт делить на несколько

сообщения приходят в том же виде, что и раньше.

Парсинг потоков рсс через гугл таблицы

// Считываем базу данных РСС
function data_base_rss() {
  var app = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("rss_data")
  data_base= app.getRange(1,1, app.getLastRow(), app.getLastColumn()).getValues(); //только заполненный диапазон
  return(data_base)
}

// поиск по базе данных
function find_rss(url) {
  rezult = rss_data.findIndex(item => item[3] === url) //ищем в 4 столбце
  //console.log(rezult) //-1 если не найдено, и индекс положительный если нашлось это что нашлось лог
  return(rezult)
}


// Запись нового поста в таблицу
function data_write_rss(data) {
  var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("rss_data");
  var value = data
  sheet.getRange(sheet.getLastRow() + 1,1,1,4).setValues([value]);
  console.log(data)
}

// Запись error в таблицу
function error_log(data) {
  var sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("error");
  //var sheet = spreadsheet.getActiveSheet();
  //var value = new Date(); // value you want to insert
  //var value = data
  sheet.getRange(sheet.getLastRow() + 1,1,1,3).setValues([data]);
  console.log(data)
}


//функция проверки новых постов текущего потока
function get_rss(rss_url) {
  var url =rss_url
  var date_rss =[]
  var xml = UrlFetchApp.fetch(url).getContentText()
  document = XmlService.parse(xml);
  root = document.getRootElement();
  channel = root.getChild('channel');
  items = channel.getChildren('item');
  items.forEach(item => {
    parsing_date=new Date(); // дата текущая
    title = item.getChild('title').getText();
    link = item.getChild('link').getText()
    try{
    author = item.getChild('author').getText();} //автор не у всех бывает
    catch(e){author =""}
    if (find_rss(link) == -1) {
      data_write_rss([parsing_date,title,author,link])  
    }
   });
  console.log(date_rss)
}

// Основная функция парсинга всех РСС потоков, ее нужно установить в запуск раз в 15 минут
function parse_rss() {
  var rss_data=data_base_rss()
  var app = SpreadsheetApp.getActiveSpreadsheet().getSheetByName("rss")
  url_array = app.getRange(1,1, app.getLastRow(), 1).getValues(); //только заполненный первый столбец
  console.log(url_array);
  url_array.forEach(url => {
    console.log(url)
    try{ 
      get_rss(url)}
    catch(e){console.log("! недействительный URL", console.log(url),'Ошибка ' + e.name + ":" + e.message + "\n" + e.stack)
    //error_log([new Date(),url,'Ошибка ' + e.name + ":" + e.message + "\n" + e.stack]) //При необходимости записи ошибок снять комментарий     
    } //Обработка ошибки 
  })
}

Код отправки сообщений в телеграм:

const tokendr = "BOT_token"; 
const IDChattelegramdr = "ID_CHAT" 

function timerSENDtgDR() {
  let ss = SpreadsheetApp.getActiveSpreadsheet();
  let ws = ss.getSheetByName("rss_data"); //таблица с которой берем данные
  let data = ws.getRange(2, 1, ws.getLastRow()-1, 5).getValues(); //диапазон с которого берем данные
  Logger.log ( data ); 
  for (i = 0; i < data.length; i++) {
    let dataInfo = data[i]; //строчка таблицы
    //Logger.log ( dataInfo );
    let telegram_send = dataInfo[4]; //пятая ячейка telegram_send
    Logger.log(telegram_send)
    if (telegram_send ===""){
      title = dataInfo[1];
      author = dataInfo[2];
      if (author !=''){
      author=author+"\n\n"    //если имя автора есть, добавить переносы строк
      }
      link = dataInfo[3];
      sendTextDR(IDChattelegramdr, "<b>"+title+"</b>\n\n" + author + link);
      ws.getRange(i+2 , 5, 1, 1).setValues([[new Date()]]);
      Utilities.sleep(500);// pause in the loop for 500 milliseconds
      Logger.log ("сообщение отправлено");
    }
  }
}
 
function sendTextDR(chatId, text, keyBoard) {
  let data = {
    method: 'post',
    payload: {
      method: 'sendMessage',
      chat_id: String(chatId),
      text: text,
      //parse_mode:'Markdown',
      parse_mode: 'html',
      reply_markup: JSON.stringify(keyBoard)
    }
  }
  UrlFetchApp.fetch('https://api.telegram.org/bot' + tokendr + '/', data);
}

Видеонаблюдение через телеграм

Sat, 15 Oct 2022 15:01:43 +0300

На камерах Hikvision можно сделать простое видеонаблюдение через телеграм.
Когда в камере срабатывает датчик движения, камера отправляет на телеграм фотографию что произошло.

Отправляются три изображения с интервалом 2 секунды, от момента срабатывания датчика

По умолчанию, мы не можем отправлять изображения в телеграм, можем только на почту.

Настройки детектора движения: «Настройки» → «По событию» → «События» → «Детектор движения». Настраиваем зону срабатывания и событие отправки на электронную почту.

Отправлять события нужно на гугл почту. В гугле есть App Script, с помощью которого можно пересылать почту в телеграм.

Настройки видеокамеры для отправки на электронную почту: «Настройки» → «Сеть» → «Доп. настройки» → «Email»

Если все настроено правильно, в почту гугл начнут приходить письма с фотографиями.

На гитхабе выложен пример скрипта, для отправки вложенных в письма фотографий в телеграм

Нам, остается немного его доработать, так как скрипт отправляет первое вложение в телеграм.

Присваиваем всем нашим письмам ярлык — CAMERA, скрипт проверяет или все письма или по определенным параметрам, например, ярлык.

Если правильно настроено правило, ярлыки появляются у каждого нового письма с камеры

Дальше в апп скрипте вставляем наш скрипт, запускаем, тестирует, занимаемся отладкой.

Ставим запуск скрипта раз в минуту. То есть почта будет проверяться раз в минуту и при соответвии условиям отправляться.

Мой скрипт:

// The token of your Telegram bot
var TOKEN = "token bot";

// Name of the Telegram channel which bot is added into
var CHANNEL = "id канала";

// Name of the Gmail Label which need to search for
var LABEL = "CAMERA"

function processEmails() {
  
  // Search unread emails with specified label
  var search = "label:" + LABEL + " is:unread";
  Logger.log('Search: ' + search);
  var threads = GmailApp.search(search, 0, 10);
  
  for (var i = 0; i < threads.length; i++) {
    var messages = threads[i].getMessages();
    Logger.log('Number of emails found: ' + messages.length);

    for (var j = 0; j < messages.length; j++) {
      var m = messages[j];
      if (!m.isInTrash() && m.isUnread()) {
        if (m.getAttachments().length > 0) {
          
          // Get the first attachment (image jpeg file)
          // and send to telegram bot
          sendPhoto(m.getAttachments()[0].copyBlob());
          Logger.log('фото: ' + '1');
          Utilities.sleep(500);// pause in the loop for 500 milliseconds
          sendPhoto(m.getAttachments()[1].copyBlob());
          Logger.log('фото: ' + '2');
          Utilities.sleep(500);// pause in the loop for 500 milliseconds
          sendPhoto(m.getAttachments()[2].copyBlob());
          Logger.log('фото: ' + '3');
          Utilities.sleep(500);// pause in the loop for 500 milliseconds   
        }
        m.markRead(); 
        m.moveToTrash(); // Where I would need a delete forever trigger;
      }
    }
  }
}

function sendPhoto(photo) {
  var payload = {
    'chat_id': CHANNEL,
    'photo': photo
  };
  var options = {
    'method': 'post',
    'payload': payload
  };
  UrlFetchApp.fetch("https://api.telegram.org/bot" + TOKEN + "/sendPhoto", options);
}

Из правок:

отправляются 1,2,3 вложения,
между отправкой пауза 0,5 секунды,
сообщение после обработки удаляется в корзину.

Отправляем новые статьи из РСС в телеграм

Mon, 10 Oct 2022 10:10:19 +0300

Удобно присылать новые ссылки на статьи моих подписок РСС в телеграм, так как вся коммуникация уже в нем, фидли почти не использую.

Евгений Гончаров, в статье «RSS фидер на Python с оправкой уведомлений в Телеграм» описал весь принцип отправки и использование базы данных для контроля что отправили. Готовый код на гитхабе Евгения

Я внес небольшие изменения в код:

Сообщения в телеграм отправляются с задержкой 1 секунда. Если не использовать таймаут, сервер телеграма, может отправить не все сообщения.
Изменил вид отправки сообщений: добавил переносы строк и автора, если он есть.

В канал телеграма приходят новые сообщения. Проверка РСС проходит с 7 утра до 11 вечера, с интервалом 30 минут.

Канал открытый, можно подписаться на «Почитаем», там 95 источников РСС: например, избранное блогов на Эгее, Илья Бирман, Максим Ильяхов, Николай Товеровский, и другие.

В примере скрипта: блоги на Эгее и мой блог.

Скрипт:

#!/usr/bin/python3
# Created by Yevgeniy Goncharov, https://sys-adm.in
# Script for reading and forwarding to Telegram, rss feeds


# Imports
import sqlite3
import requests
import feedparser
import os
import urllib
import random
import time

# Bot creds
bot_token = 'bot_token'
bot_chatID = 'bot_chatID'

# Feeds
myfeeds = [
    'https://blogengine.ru/blogs/rss/',
    'http://blog.fossko.ru/rss/',

]

# User agents
uags = [
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15',
  'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0',
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:77.0) Gecko/20100101 Firefox/77.0',
  'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
]

# Random User Agent (from uags list)
ua = random.choice(uags)

# Header
headers = {
  "Connection" : "close",  # another way to cover tracks
  "User-Agent" : ua
}

# Proxies
proxies = {
}

# DB
scriptDir = os.path.dirname(os.path.realpath(__file__))
db_connection = sqlite3.connect(scriptDir + '/rss.sqlite')
db = db_connection.cursor()
db.execute('CREATE TABLE IF NOT EXISTS myrss (title TEXT, date TEXT)')

# Get posts from DB and print
def get_posts():
    with db_connection:
        db.execute("SELECT * FROM myrss")
       # print(db.fetchall())

# Check post in DB
def article_is_not_db(article_title, article_date):
    db.execute("SELECT * from myrss WHERE title=? AND date=?", (article_title, article_date))
    if not db.fetchall():
        return True
    else:
        return False

# Add post to DB
def add_article_to_db(article_title, article_date):
    db.execute("INSERT INTO myrss VALUES (?,?)", (article_title, article_date))
    db_connection.commit()

# Send notify to Telegram bot
def bot_sendtext(bot_message):
    #bot_message = urllib.parse.quote(bot_message)
    bot_message = bot_message
    send_text = 'https://api.telegram.org/bot' + bot_token + '/sendMessage?chat_id=' + bot_chatID + '&parse_mode=Markdown&text=' + bot_message
    requests.get(send_text, proxies=proxies, headers=headers)
    print(send_text)

# Check, read articles
def read_article_feed(feed):
    """ Get articles from RSS feed """
    feedparser.USER_AGENT = ua
    feed = feedparser.parse(feed)
    print(feed)
    for article in feed['entries']:
        if article_is_not_db(article['title'], article['published']):
            add_article_to_db(article['title'], article['published'])
           # bot_sendtext('New feed found ' + article['title'] +', ' + article['link'] + ', ' + article['description'])
            try:
                rss_autor = article['author'] +'%0A%0A'
            except:
                rss_autor = ""
            MSGsend='*'+ article['title'] + '*%0A%0A' + rss_autor + article['link']
            MSGsend=MSGsend.replace("_", "\_")  # замена подчеркивания для отправки в ТГ
            bot_sendtext(MSGsend)            
            time.sleep(1)
           # print(article)

# Rotate feeds array
def spin_feds():
    for x in myfeeds:
       # print(x)
        read_article_feed(x)

# Runner :)
if __name__ == '__main__':
    spin_feds()
    # get_posts()
    db_connection.close()

Отправка из Яндекс форм в телеграм

Thu, 12 May 2022 10:09:13 +0300

У Яндекса есть удобный сервис — Яндекс формы, он позволяет вставлять любые формы на любые сайты.
А вот получение данных не всегда удобное: нужно зайти в форму, перейти к ответам, посмотреть результаты.

Входим в форму — интеграции

Можно отправлять на е-маил, это реализовано сразу, включаем в настройках, указываем кому отправить форму, что написать и заполняем шаблон.

Для отправки в телеграм, используется интеграция — *API Запрос заданным методом

Метод запроса POST

У меня отправляется только если весь запрос передать в УРЛ, по-хорошему нужно передавать через тело запроса, но у меня не работает.

В УРЛ подставляем следующее:

https://api.telegram.org/ИД вашего бота:Секретный ключ бота/sendMessage?chat_id=ИД кому отправлять&text=*Дзен_Яндекс*: Что из формы отправлять   &parse_mode=Markdown

https://api.telegram.org/bot111111:AABBBCCDDDFFFHJGHGHG/sendMessage?chat_id=1111111&text=&text=*Заявка_с_Дзена*%0A
Ответы на все вопросы&parse_mode=Markdown

Айди канала или пользователя можно узнать через бота

%0A — Это символ пробела

После какого-то обновления на Яндекс Формах не проходят знаки пробела, можно поставить подчеркивание и пользоваться дальше

Ответы на вопросы — что передаем в сообщении, выбирается в параметрах, там куча всего можно передавать.

Варианты, что можно отправить из формы в телеграм

Заполняем форму и получаем ответ в телеграм