История прослушивания без пропусков и скипов #2

[amd64fox]

Описание.

Ведение истории прослушивание треков для Android и Windows, дает один и тот же результат, что и эта история, но из-за изменения логики ведения истории в новых версиях приложений стало невозможно использовать.

Плюсы:

• треки добавляются с 0 сек.
• в историю будет добавлен именно тот трек, который был прослушан, так как у нас есть его точный id.

Минусы:

• нужно настроить google форму, делается это один раз, далее можно забыть о её существование.

Суть схемы работы.

Как только мы включаем музыку на своем устройстве мы отправляем uri нашего текущего трека в гугл форму, форма будет временным хранилищем для нашей истории, далее скрипт гуфи подтягивает треки накопившиеся в форме, как часто он должен тянуть треки зависит от вас, я беру раз в час. После того как треки попали в скрипт они очищаются от дубликатов, добавляется текущая дата как дата прослушивания(played_at) и выдаются вам для ваших целей, форма автоматически очищается и ждет новых поступлений треков.

Note

Не забывайте: после вызова основной функции, google форма сразу очищается, и повторно эти треки вы уже не получите. Если вам по какой-то причине не нужно очищать форму, то закомментируйте в функции readTracks эту строку: form.deleteAllResponses();

Инструкция первого запуска.

1. Копируем код ниже в отдельный файл, например my-module.gs, что бы жил независимо от обновлений основной библиотеки.

const History = (function () {

    const FormID = ''; // подставить свой id формы (не публичный, берется из url`a настроек формы) 

    const form = FormApp.openById(FormID);
    const formResponses = form.getResponses();

    return {
        getTracks: getTracks,
    };

    function getTracks({ compress = false, play_date = false } = {}) {

        try {
            let tracks = SpotifyRequest.getFullObjByIds('tracks', readTracks(), 50);

            tracks = play_date
                ? tracks.map((t, i) => ({
                    ...t,
                    played_at: new Date(
                        formResponses[i].getTimestamp().getTime() - (formResponses[i].getTimestamp().getTimezoneOffset() * 60000)
                    ).toISOString()
                }))
                : tracks;
            compress && Cache.compressTracks(tracks);

            // Удалить все ответы из формы
            form.deleteAllResponses();

            return tracks;
        }
        catch (e) {

            console.error(e.stack);
            return []
        }

    }

    function readTracks() {

        const formCount = formResponses.length;
        const string = 'spotify:track:'

        // Если нет ответов формы, возвращать пустой массив
        return formCount === 0 ? [] : formResponses
            // В противном случае возвращаем ID треков
            .slice(0, formCount)
            .map(formResponse => formResponse.getItemResponses()[0])
            .filter(itemResponse => typeof itemResponse !== 'undefined')
            .filter(itemResponse => itemResponse.getResponse().startsWith(string))
            .map(itemResponse => itemResponse.getResponse())
            .map(track => track.replace(string, ''))
            .reduce((uniqueTracks, track) => uniqueTracks.includes(track) ? uniqueTracks : [...uniqueTracks, track], []);
    }
})();

2. Создаем и настраиваем гугл форму.

Форма

• создаем пустую форму

Настройка формы

Вставляем id формы в скрипт Goofy

Получаем id бокса для ответа и публичный url формы

• Получаем и сохраняем url и id бокса в блокнот или куда удобнее они нам пригодятся на этапе настройке таскера и приложения windows.
• по окончанию тестовый ответ из формы можно удалить

3. Настраиваем таскер в андроиде

Android

Для отправки треков в форму с андроида выполняем следующие действия:

• устанавливаем таскер ( рекомендуется использовать версию 6.0.10 или выше, также у таскера есть проблемы с 13 андроидом из-за этого скрипт может не функционировать).
• устанавливаем Spotify ( рекомендуется использовать версию 8.7.88.496 или выше).
• скачайте Spotify_History.prf.zip и распакуйте на телефон Spotify_History.prf.xml для импорта профиля и задачи в таскер.

Настраиваем таскер

В таскере проделываем следующие:

• Импортируем ранее скаченный файл в таскере
• Заполняем публичный url формы и id бокса для ответа которые были сохранены ранее

video_2022-12-07_15-17-25.mp4

Не забываем прожимать в конце галочки, что бы таскер все сохранил, если все сделали правильно то теперь при прослушивании трека в Spotify у вас должен отправиться его uri в форму, настройка таскера завершена.

4. Настраиваем приложение Windows

Windows

Для настройки клиента в Windows будет использоваться модификация SpotX
Поддерживается только десктопное приложение, версия 1.1.90 и выше

• берем обычную установочную строку spotx для powershell и подставляем в виде входящих параметров наши значения публичного url и id бокса
• готовая строка выглядит так:

iex "& { $(iwr -useb 'https://raw.githubusercontent.com/SpotX-Official/spotx-official.github.io/main/run.ps1') } -new_theme -urlform_goofy 'https://docs.google.com/forms/u/0/d/e/1FAIpQLSeLoPVRCHw1brIywcVjwI3Wfn8roSZALOgaWcAEkytI4BZIjA/formResponse' -idbox_goofy '2092622422'"

• теперь достаточно открыть терминал powershell Win + R ввести слово powershell
• и вставить целиком нашу команду в терминал, начнется обычная установка spotx которая добавит новую логику в код приложения.
• если все подставлено верно, то после запуска клиента и начала прослушивания треков они будут лететь автоматом в форму.
• параметры строки установки для powershell не нужно вводить каждый раз, просто сохраните уже готовую строку и вводите её если нужно снова установить spotx
• так же не забывайте что spotx предлагает блокировать официальные обновления Spotify, подойдет для тех кто хочет поставить один раз и забыть, если обновления не блокировать, то все слетит в дефолт при следующем автоматическом обновление.
• если кому-то интересно то вот код который spotx вводит в клиент windows :

const unique = new Set();

function goofyHistory(e, urlForm, idBox) {

    const uri = e?.item?.uri;

    if (uri && uri.includes('spotify:track:') && !unique.has(uri)) {

        unique.add(uri);

        fetch(urlForm, {
            "headers": {
                "content-type": "application/x-www-form-urlencoded",
            },
            "body": "entry." + idBox + "=" + uri,
            "method": "POST",
            "mode": "no-cors",
        }).catch(error => console.error('error sending uri to google form:', error));
    }
}

5. Вызываем функцию из Goofy

let history = History.getTracks();

// используем параметр compress для сжатия метаданных трека, выполняет тоже самое что и нативный метод Cache.compressTracks (по умолчанию: false)
let history = History.getTracks({compress:true});

// используем параметр play_date для добавления даты прослушивания в метаданные трека (по умолчанию: false)
let history = History.getTracks({play_date:true});

// или вместе 
let history = History.getTracks({compress:true, play_date:true});

Ребят извиняюсь за гифки, не было времени записать полноценные видосы. Всем добра 🖐

[Bondian]

Долгожданная вещь!
Но в чём-то не получилось правильно настроить.
let nowHistory = History.getTracks() не выдаёт треки.
Для начала - не пойму как проверить отправку из таскера в форму (вообще не знаком с формами, поэтому делал всё вслепую по гиф-инструкциям). Как убедиться, что таскер отправил, а форма получила uri?

[amd64fox]

Как убедиться, что таскер отправил, а форма получила uri?

Зайти в Spotify, проиграть 2-3 трека, далее идем в панель управления формы которую мы создали, открываем вкладку с ответами и видим наши отправленные uri:

Скрин

[Bondian]

Ответов нет. Значит как-то нужно проверить таскер

На моём скрине нет подвкладок: "Сводка", "Вопрос", "Отдельный пользователь". Может есть какая-то панель управления о которой я не знаю...

[amd64fox]

На моём скрине нет подвкладок: "Сводка", "Вопрос", "Отдельный пользователь"

Так и должно быть если нет ответов в форме.

Ответов нет. Значит как-то нужно проверить таскер

• В таскере перейдите во вкладку VARS и проверьте правильность заполнения переменных %Url и %BoxID
  Эти 2 переменные мы получали в 2-ом этапе (Форма) последнего пункта (Получаем id бокса для ответа и публичный url формы).
• Также проверьте активирован ли профиль Spotify History в таскере
• Проверить название пакета приложения Spotify, оно должно быть com.spotify.music, зачастую оно всегда такое у оригиналов и даже у модов, но мало ли у вас установленна редкая сборка в которой решили изменить имя пакета, если имя другое то нужно зайти в профиль Spotify History и выбрать свое приложение Spotify.

[Bondian]

Проверить название пакета приложения Spotify, оно должно быть com.spotify.music

Имеется ввиду путь в устройстве, типа ...Android/data/com.spotify.music... ?

[amd64fox]

Таким способом тоже можно определить имя пакета, да

[Bondian]

В таскере всё перепроверил, Обновил таскер. Не помогло
Завтра на свежую голову зайду...

[amd64fox]

а что его проверять и так понятно, что таскер не запускает профиль, это видно по событиям в логах, причина может быть как в таскере так и в самом андроиде / телефоне.

• попробовать что ли удалить профиль и создать идентичный, но руками
• можно также снести полностью таскер, перезагрузится и снова установить последнюю версию, если снова не сработает то я бы проверил на другом телефоне / планшете.

так же есть вероятность, что я где то-то напутал, завтра более подробно просмотрю ...

[amd64fox]

Сегодня на старом самсунге чуть потестил это все, на нем уже были установлены таскер и spotify, но давно не обновлялись.

После установки и проверки скрипта и в правду треки не отправлялись в форму, начал проверять сначала таскер, проблема была в банально старой версии приложения, в таскере попросту не было такой глобальной переменной как %mt_all_metadata которая используется для забора uri трека, установил последний таскер, то-есть не поверх старой и именно через удаление и установку, и переменная появилась, но uri в форму так и не стал отправляться, пошел разбираться с spotify.

Идентичная проблема, из-за старой версии, массив данных который берет таскер из приложения spotify оказывается идет без uri трека, его просто там нет, удалил старый spotify, поставил последний и все заработало.

Попробуйте именно установить начисто и то и другое, возможно где-то что-то коротит из-за того что было обновление поверх, если снова то же самое, то нужен скриншот для начала трегера Music Track Changed который в профиле Spotify History именно верхний его части как на этом скрине:

cкрин

[Bondian]

причина может быть как в таскере так и в самом андроиде / телефоне

Установил на восьмой андроид. И всё заработало.
А на 12 анроиде (обновление с 10 версии пришло меньше месяца назад) так и не работает. Похоже Таскер ещё не подружился с 12 андроидом...

[amd64fox]

Похоже на правду, мой основной телефон на 11 андроиде работает, плюс работает старый телефон на 7 андроиде, таскер уже как полгода не выпускал обнов, будем надеяться что релиз новой версий не за горами.

[Bondian]

В любом случае, спасибо за помощь, за прекрасную идею использовать формы, и её воплощение! Параллельно жду обнову таскера )

[Bondian]

[amd64fox]

Показывает активные/ неактивные профили, можно откл в настройках

[Bondian]

Что значит активные профили? Может я что-то в корне не понимаю? Enable - это, насколько я понял, позунок во включеном положении. Но что значит No active profiles (1 of 1 enabled)? Имеется ввиду сам момент сработки (момент переключения треков)? Типа пока трек не переключился - пассивное состояние?

[amd64fox]

Имеется ввиду сам момент сработки (момент переключения треков)?

Насколько я помню то да

[amd64fox]

Сделал небольшой рефакторинг кода функции, это исправило пару незначительных ошибок, логика кода осталась прежний, так же подправил текст для инструкции на андроиде, касаемо версий приложений.

[Gringo675]

Можете обновить в шапке ссылку на Spotify_History.prf.zip? File not found.

[amd64fox]

Починил ссылку

[Gringo675]

Автору безусловно респект за проделанную работу. Но не пойму в чем смысл использовать промежуточное звено в виде Гугл формы, если можно сразу отдавать данные непосредственно Гугл скрипту. Для этого можно либо немного изменить присутствующую в библиотеке функцию doGet (для get-запросов, что легче), или создать новую doPost (соответственно для post-запросов, что несколько сложнее, но как-то правильнее имхо).
Вот к примеру мой код.

Добавляем в Google Apps Script:

 function doPost(e) {

  let postData = e.parameter
  let method = postData.method
  let data = JSON.parse(postData.data)

  let response = this[method](data)

  return ContentService.createTextOutput(JSON.stringify(response))
    .setMimeType(ContentService.MimeType.JSON)
}

function addTrackToHistory(track) {
  // здесь что-то делаете с полученным треком, например, просто сохраняете на Диск
  Cache.append('MyHistory.json', [track])
// или предварительно получаете по нему информацию от Spotify
const trackInfo = SpotifyRequest.getFullObjByIds('tracks', [track.id], 1)
…
}

Только в отличие от get, для post запросов нужно развернуть приложение, дав к нему доступ для всех пользователей (и в дальнейшем не забывать обновлять публикацию после изменения кода). При post запросах использовать сформированную здесь ссылку (с /exec в конце). Может у вас получится использовать и пробное развертывание (ссылка с /dev в конце) для post запросов, но я не осилил, там довольно сложная система предоставления прав и авторизации, легче развернуть как основное.

Скрипт для Tasker:

Profiles
        Profile: Spotify History
        	Event: Music Track Changed [ Output Variables:* Track:* Album:* Artist:* Package:com.spotify.music Type:Playing ]
        
        
        
        Enter Task: Spotify Save To History
        
        A1: Simple Match/Regex [
             Type: Regex
             Text: %mt_all_metadata
             Regex: spotify:track:(?<track_id>.{22})
             Match Pattern: on-demand.+
             Continue Task After Error:On ]
        
        A2: If [ %mt_match_found eq true & %track_id() neq %SpotifyCachedTrackId ]
        
            A3: JavaScriptlet [
                 Code: var track_data = JSON.stringify({id: track_id, track: encodeURIComponent(mt_track), artist: encodeURIComponent(mt_artist)})
                 Auto Exit: On
                 Timeout (Seconds): 45 ]
        
            A4: Perform Task [
                 Name: Send Track
                 Priority: %priority
                 Parameter 1 (%par1): %track_data
                 Parameter 2 (%par2): %track_id
                 Return Value Variable: %response
                 Structure Output (JSON, etc): On ]
        
            A5: If [ %response eq false ]
        
                A6: Wait [
                     MS: 0
                     Seconds: 4
                     Minutes: 0
                     Hours: 0
                     Days: 0 ]
        
                A7: Perform Task [
                     Name: Send Track
                     Priority: %priority
                     Parameter 1 (%par1): %track_data
                     Parameter 2 (%par2): %track_id
                     Return Value Variable: %response
                     Structure Output (JSON, etc): On ]
        
            A8: End If
        
        A9: End If
        
        
    
    Tasks
        Task: Spotify Save To History
        
        A1: Simple Match/Regex [
             Type: Regex
             Text: %mt_all_metadata
             Regex: spotify:track:(?<track_id>.{22})
             Match Pattern: on-demand.+
             Continue Task After Error:On ]
        
        A2: If [ %mt_match_found eq true & %track_id() neq %SpotifyCachedTrackId ]
        
            A3: JavaScriptlet [
                 Code: var track_data = JSON.stringify({id: track_id, track: encodeURIComponent(mt_track), artist: encodeURIComponent(mt_artist)})
                 Auto Exit: On
                 Timeout (Seconds): 45 ]
        
            A4: Perform Task [
                 Name: Send Track
                 Priority: %priority
                 Parameter 1 (%par1): %track_data
                 Parameter 2 (%par2): %track_id
                 Return Value Variable: %response
                 Structure Output (JSON, etc): On ]
        
            A5: If [ %response eq false ]
        
                A6: Wait [
                     MS: 0
                     Seconds: 4
                     Minutes: 0
                     Hours: 0
                     Days: 0 ]
        
                A7: Perform Task [
                     Name: Send Track
                     Priority: %priority
                     Parameter 1 (%par1): %track_data
                     Parameter 2 (%par2): %track_id
                     Return Value Variable: %response
                     Structure Output (JSON, etc): On ]
        
            A8: End If
        
        A9: End If
        
        
    
        Task: Send Track
        
        A1: [X] Flash [
             Text: %par1
             Continue Task Immediately: On
             Dismiss On Click: On ]
        
        A2: HTTP Request [
             Method: POST
             URL: %SpotifyUrl
             Headers: Content-Type:application/x-www-form-urlencoded;charset=utf-8
             Body: method=addTrackToHistory&data=%par1
             Timeout (Seconds): 30
             Automatically Follow Redirects: On
             Structure Output (JSON, etc): On
             Continue Task After Error:On ]
        
        A3: If [ %http_response_code eq 200 ]
        
            A4: Variable Set [
                 Name: %SpotifyCachedTrackId
                 To: %par2
                 Structure Output (JSON, etc): On ]
        
            A5: Return [
                 Value: true
                 Stop: On ]
        
        A6: Else
        
            A7: Return [
                 Value: false
                 Stop: On ]
        
        A8: End If

Файл для импорта проекта в таскер: Spotify.prj.zip

В переменную %SpotifyUrl помещаем url, полученный при развертывании. Я отправляю на сервер ид трека, его название и исполнителя. Можете это список подстроить под свои нужды. Если будете подтягивать информацию по треку со спотифая, то достаточно одного ид.

Если будете таким образом сами формировать историю прослушивания, то можно отключить задачу runTasks_, которая каждые 15 минут обращается за данными к Spotify (чтобы немного сэкономить ресурсы гугла и спотифая 😊). Для этого удалить из триггеров соответствующую запись и закомментировать в библиотеке одну строку в классе Clerk (у меня это 3523 строка):

  if (!taskTrigger) {
    // Trigger.create(functionName, 15);
  }

[amd64fox]

Совершенно верно, можно реализовать через развертывание, я решил реализовать это через форму, что бы не пинать каждый раз гугл скрипт при поступлении нового uri.

[StrikS]

Предложение удалить триггер runTasks_ и закомментировать строку, может быть не очень удачным. Так как у нас перестанут записываться не только история прослушивания, которая нам уже не нужна. Но и лайкнутые треки. Лучше вместо этого в config.gs изменить значение на
UserProperties.setProperty('ON_SPOTIFY_RECENT_TRACKS', 'false');
а затем нажать кнопку "Cохранить" и "Выполнить", чтобы изменения применились.

[StrikS]

Спасибо, всё получилось.
Воспользовался вариантом Amd64fox, так как более подробно описан. Мне не хватало только пару методов, которые взял из #53 и которые нужно поместить в main.gs.

function fromFormToFile() {
    let tracks_new = History.getTracks(); // Беру свою новую историю из формы.
    let tracks_old = Cache.read('History.json'); // Беру свою основную историю.
    Filter.removeTracksid(tracks_new, tracks_old);  // Удаляю дубликаты из новой истории по id.
    Cache.compressTracks(tracks_new); // Cache.compress по желанию.
    Cache.append('History.json', tracks_new);  // Все что осталось добавляю в основную историю.
    console.log('Количество добавленных треков в историю:', tracks_new.length);
}

Filter.removeTracksid = function (sourceArray, removedArray, invert = false) {
        let removedIds = removedArray.map((item) => item.id);
        let filteredTracks = sourceArray.filter((item) => {
            return invert ^ !removedIds.includes(item.id);
        });
        Combiner.replace(sourceArray, filteredTracks);
}

Ну и fromFormToFile запускать через триггер. Например, раз в 15 минут.

[amd64fox]

отсутствует дата прослушивания

в моих скриптах я не использую дату прослушивания, поэтому на момент написания вообще не думал про это, немного изменил основную функцию, теперь можно использовать два параметра:

// используем параметр play_date для добавления даты прослушивания в метаданные трека (по умолчанию: false)
let history = History.getTracks({play_date:true});

// используем параметр compress для сжатия метаданных трека, выполняет тоже самое что и нативный метод Cache.compressTracks (по умолчанию: false)
let history = History.getTracks({compress:true});

// или вместе 

let history = History.getTracks({compress:true, play_date:true});

// соответственно обычный вызов все параметры выставляет в false
let history = History.getTracks();

[testopal]

Большое спасибо. я правда не подумал обратиться к первоисточнику ветки )

[amd64fox]

Мне не хватало только пару методов

если речь о кастомной функции Filter.removeTracksid то в этой версии истории она не требуется, так как сама очищает треки по id перед тем как выдать их

upd

ааа не увидел, этож идет вычитание по id основной истории из новой 😂
тогда все ок

[testopal]

в тему времени. мне пришла в голову идея, что анализировать плейлист можно на основании того, дослушиваю я музыку до конца или перематываю. Мысль в том, что слушая плейлист я добавляю в очередь похожие на те треки, которые прослушал полностью. В итоге стало важно, чтобы время старта проигрывания каждого трека была точной до секунды, а не равнялась времени чтения из гугл формы. Для этого сделал пару изменений:

1. изменил отправку названия трека, чтобы добавлялась время. Делается в Tasker, раздел TASKS --> Spotify History -> кликнуть на пункт 4, прокрутить вниз до Body и поменять строку как на скриншоте

3. подправить код модуля History = (function () { чтобы она могла читать изменившиеся данные. Нужно полностью заменить функцию getTracks на

function getTracks({ compress = false, play_date = false } = {}) {
       let prev = readTracks();
       let OkTracks = [], tracksTime = [];
       prev.forEach(t => {
       const parts = t.split(':');
       OkTracks.push(parts[0]);
       tracksTime.push(parts[1]);
   });

   let tracks = SpotifyRequest.getFullObjByIds('tracks', OkTracks, 50);
   tracks = play_date ? 
             tracks.map((t, index) => {
             const timestamp = tracksTime[index];
             return { ...t, played_at: new Date(timestamp * 1000).toISOString() };
         }) : tracks;
   compress && Cache.compressTracks(tracks);
   Filter.dedupTracks(tracks);
   return tracks;
 } 

теперь дата и время будет считываться с правильным временем.

еще раз, спасибо amd64fox за отличную работу.

[amd64fox]

Хорошее замечание, правда не понял зачем изменять скрипт таскера если эту дату можно получить из самой формы, изменил основной код js.

[testopal]

не понял зачем изменять скрипт таскера если эту дату можно получить из самой формы, изменил основной код js.

моя тупость только в оправдание )

[amd64fox]

Исправил обработку ошибок в коде, теперь при возникновении любых ошибок ( например Access not granted or expired ) форма с треками не будет очищаться.