todo.txt

База:

Lib:
0. [done] Добавить парсинг времени в scraper
1. [done] Доставать текст новости
2. [done] Простая суммаризация текста
3. [done] Парсинг pdf выпуска в текст
4. [done] Настроить логирование
5. [done] Добавить timezone для datetime
N. Глянуть либу PyGoogleNews вместо ручного парсинга

NLP:
1. [done] Отчет по выпуску
2. [done] Суммаризация новости

Bot:
0. [done] Сделать одну функцию на регулярные и по запросу команды
1. [done] Регулярный сбор новостей, сохранение в бд
2. [done] Команда забирает последние новости из бд
3. [done] Команда подписки и отписки на новости
4. [done] Рассылка новостей по списку подписчиков из базы
5. [done] Кеширование поста в Redis
6. [done] Чтение поста из кеша, иначе из базы
7. [done] Фильтр новостей не по теме
8. [done] Добавить команду рассылки выпусков
9. [done] Регулярные сбор выпусков
10. [done] Кеширование поста выпусков в Redis и БД
11. [done] Регулярная отправка новостей в 19 часов 
12. [done] Обновить карточки новостей и выпусков
13. [done] Добавить nlp обработку только новых новостей и выпусков
14. [done] Настроить команды - проверить работоспособность
16. [done] Настроить путь скачивания pdf
17. [done] Фильтр на команды для blacklist пользователей 
18. [done] Добавление подписок через ENV на старте бота
20. [done] Настроить докер, развернуть тест
15. [done] Настроить логирование
19. [done] Минимальная обработка ошибок
21. [done] Сортировка в последних новостях, сначала новые
22. [done] Пофиксить проблему с timezone в выборе новостей
23. [done] Пофиксить ошибку с хромом при загрузке pdf на хосте
26. [done] Добавить timezone для datetime бота
28. [done] Пофиксить удаление базы
29. [done] Поменять фильтр по корню ссылки
30. [done] Пофиксить ошибку с пустым описанием релизa
27. Добавить кнопку ОС
24. Кликстрим действий в бд
25. !Автоматизация миграции
31. !Сократить потребление оперативки бота (через ~20 часов работы потребление выростает до 1гб)

DB:
0. [done] Метод добавления новостей уникальных
1. [done] Метод добавления пользователя и подписчика на новости
2. [done] Метод добавления и удаления подписчика на новости
3. [done] Метод сохранения поста с новостями и чтение
4. [done] Метод кеширования с Redis
5. [done] Сохранение новости с текстом
6. [done] Переписать postgres_client
7. [done] Метод добавления выпусков уникальных
8. [done] Метод выбора строк за период
9. [done] Выбор выпусков за 24 часа
10. [done] Расширить поля таблиц для отчета выпуска и суммаризации и оригинала 
11. Таблица для кликстрима

План максимум:
1. Добавить кликстрим с сохранением в базу
2. Добавить деш с метриками
3. Ролевая модель