Google Ads API Daten nach BigQuery übertragen

Inhalt ausblenden

1 Mögliche Übertragungswege
2 Apps Script zur Übertragung von Google Ads API Daten nach BigQuery
3 Vor- und Nachteile dieser Lösung
4 Installation
5 Das komplette Script zur freien Nutzung:

Der Artikel zeigt den Transfer von Google Ads API Daten nach Google BigQuery anhand von benutzerdefinierten Reportings, welche individuell konfiguriert werden können.

Mögliche Übertragungswege

Man kann die Google Ads API-Daten auf verschiedene Weisen in BigQuery übertragen. Eine Möglichkeit ist es, einen ETL-Prozess (Extract, Transform, Load) mit einem Drittanbieter-ETL-Tool zu erstellen. Diese Tools extrahieren die Daten aus der Google Ads API, wandeln sie in das richtige Format um und laden sie dann in BigQuery hoch.

Ein weiterer Weg besteht in 2 existierenden Google Transfer Services für Google Ads , die bereits mit BigQuery mitgeliefert werden. Leider hinkt hier häufig die API-Version des Service hinterher und so erhält man nicht die neusten Datentypen, die Google eingeführt hat. Insbesondere in Bezug auf Pmax Kampagnen und deren Asset Groups stellt dies derzeit eine Einschränkung dar, welche es sich lohnt zu überwinden.

Ein einfacher Ansatz die Daten nach BigQuery zu übertragen, stellt eine Apps Script dar, welches an die eigenen Datenbedürfnisse angepasst werden kann.

Apps Script zur Übertragung von Google Ads API Daten nach BigQuery

Das Script wird in der Google Apps Script Umgebung installiert und täglich ausgeführt. Bei der Ausführung werden die zuvor konfigurierten Tabellen genommen und mit der Google Ads API abgefragt. Anschließend werden die Daten nach Google BigQuery übertragen.

Vor- und Nachteile dieser Lösung

Vorteile:

Flexibel, auf API Neuerungen kann individuell reagiert werden.
Datensparsam: Es werden nur konfigurierte Tabellen übertragen.
Kostengünstig, da keine weiteren Infrastrukturen eingerichtet werden müssen.

Nachteile:

Tägliche Übertragung ist aufgrund der API-Limits nur bedingt möglich.
Wenn die Daten in Echtzeit benötigt werden, ist diese Lösung nicht geeignet
Die Daten werden in BigQuery abgelegt, wie sie von der API angeliefert werden. Dies bedeutet, dass zusätzliche Reportings eingerichtet werden müssen, um die Daten für die Analyse aufzubereiten

Installation

Script installieren
Übertragungsfenster festlegen
Daten festlegen mit dem GAQL Query Builder
Übertragung starten

Script installieren

Das Script von unten mit Copy & Paste in ein Google Ads Script oder Apps Script übertragen. Alle Script-Konfiguration findet in der CONFIG variable statt. Der Rest sollte nur editiert werden, wenn man weiß was man tut.

In der Scriptumgebung muss BigQuery noch als Extra-Service angestellt werden.

Anschließend muss die Variable des Scripts konfiguriert werden.

Variablen konfigurieren

In der CONFIG Variable werden alle Einstellungen vorgenommen, die das Script benötigt. Die Variablen sollten von der Namensgebung her selbsterklärend sein. Ansonsten hilft der Kommentar dahinter.

Copy to Clipboard

BIGQUERY_PROJECT_ID: 'BQPID', // BigQuery Project ID
BIGQUERY_DATASET_ID: 'BGDSID', // BigQuery Dataset ID
LOCATION: 'EU', //Location of the Dataset

EXPERIATION: 2 * 31536000000, // Data Expiration time
DEBUG: { WRITE: true}, // DEBUG Variable if WRITE is false, there is no data send to bigquery. Useful during configuration.

// Truncate existing data, otherwise will append.
TRUNCATE_EXISTING_DATASET: false, // If set to true, dataset will be cleared before data transfer
TRUNCATE_EXISTING_TABLES: false, // If set to true, tables will be cleared before data transfer

// Back up reports to Google Drive.
WRITE_DATA_TO_DRIVE: false, // DEPRECATED
// Folder to put all the intermediate files.
DRIVE_FOLDER: 'INSERT_FOLDER_NAME', //DEPRECATED

// Default date range over which statistics fields are retrieved.
DEFAULT_DATE_RANGE: 'YESTERDAY',//EXAMPLES: 'YESTERDAY' OR '2022-08-01,2022-09-07',
DEFAULT_DATA_LIMIT: '',
CHUNK_SIZE: 5000, // Defines the number of lines the Script will load to Bigquery during one inset operation. Drill this down if you get errors for this.BIGQUERY_PROJECT_ID: 'BQPID', // BigQuery Project ID
BIGQUERY_DATASET_ID: 'BGDSID', // BigQuery Dataset ID
LOCATION: 'EU', //Location of the Dataset

EXPERIATION: 2 * 31536000000, // Data Expiration time
DEBUG: { WRITE: true}, // DEBUG Variable if WRITE is false, there is no data send to bigquery. Useful during configuration.

// Back up reports to Google Drive.
WRITE_DATA_TO_DRIVE: false, // DEPRECATED
// Folder to put all the intermediate files.
DRIVE_FOLDER: 'INSERT_FOLDER_NAME', //DEPRECATED

Daten festlegen mit dem GAQL Query Builder

Im CONFIG.REPORTS Array können API-Calls werden. Dabei ist jeder Abruf ein Objekt mit den Variablen wie in der Tabelle und im Beispiel gezeigt. Für den Aufbau der API-Calls empfehle ich, dringend den Google Ads API Query Builder zu nutzen, da dieser zunächst zeigt, welche Felder überhaupt kombiniert werden dürfen.

Variable	Value
NAME	Der Tabellen Name in der Google Ads-Api ‚asset_group_product_group_view‚
CONDITION	Hier kann ein „WHERE“ statement eingefügt werden
FIELDS	Die im Report gewünschten Felder.
RETURN_FIELDS	Felder, welche von der API ohne Anforderung gesendet werden. Notwendig zur Erstellung der Tabellenfelder in BigQuery
PARTITION_FIELD	Notwendig, wenn das Feld segemens_date zur Partitionierung genutzt werden soll. In allen anderen Feldern leer lassen.

Zusätzlich müssen die Felder definiert werden mit

Copy to Clipboard

Variable	Value
FieldName	Der Name des Feldes wie in der Google Ads Api gezeigt.
Format	Datentypen, wie für BigQuery definiert.
Alias	FieldName Conversion that works for Google BigQuery as colmun name.

Wie in dem Code-Beispiel für die eigentlich Query zeigt, wie die Felder während des API-Abrufs genutzt werden.

Copy to Clipboard

Hier ein Beispiel für einen vollständig konfigurierten Abruf von ‚ad_group_ad‘:

Copy to Clipboard

{
     NAME: 'ad_group_ad',
     CONDITIONS: '',
     FIELDS: {
// Fields have the API-Name in first object level. They inherit the Alias Name an the format for the field in BigQuery tables.     
      'campaign.id':{'format':'INTEGER','alias':'campaign_id'},
      'ad_group.id':{'format':'INTEGER','alias':'adGroup_id'},
       'ad_group_ad.ad.responsive_search_ad.descriptions':{'format':'JSON','alias':'adGroupAd_ad_responsive_search_ad_descriptions'},
       'ad_group_ad.ad.responsive_search_ad.headlines':{'format':'JSON','alias':'adGroupAd_ad_responsive_search_ad_headlines'},
       'ad_group_ad.ad_strength':{'format':'STRING','alias':'adGroupAd_ad_strength'},
       'segments.date':{'format':'DATE','alias':'segments_date'}, 
       'campaign.name':{'format':'STRING','alias':'campaign_name'},
       'ad_group.name':{'format':'STRING','alias':'adGroup_name'},
       'ad_group_ad.resource_name':{'format':'STRING','alias':'adGroupAd_resource_name'},
       'ad_group.resource_name':{'format':'STRING','alias':'adGroup_resource_name'},
       'metrics.clicks':{'format':'INTEGER','alias':'metrics_clicks'}, 
       'metrics.conversions':{'format':'FLOAT64','alias':'metrics_conversions'}, 
       'metrics.impressions':{'format':'INTEGER','alias':'metrics_impressions'}, 
       'metrics.cost_micros':{'format':'INTEGER','alias':'metrics_cost_micros'}       
     },
    RETURN_FIELDS: {
// Return Fields are fields that we did not ask the API for, but they delivered those too. Needed for correct field Mapping towards BigQuery.
      'adGroupAd_ad':{'alias':'adGroupAd_ad','format':'JSON'},
      'adGroupAd_ad.id':{'format':'INTEGER','alias':'adGroupAd_ad_id'}
    },
     PARTITION_FIELD:'segments_date',
    },

Übertragung starten

Wenn alle komponenten korrekt konfiguriert wurden, kann der Google Ads Api Abruf gestartet werden.

Das komplette Script zur freien Nutzung:

Hier veröffentliche ich das Script als komplette Version. Ich freue mich auf Kommentare, Feedback, Verbesserungen und natürlich eure Erweiterung der Abrufkonfigurationenen unter (CONFIG.REPORTS).

Google Ads API Daten nach BigQuery übertragen

Mögliche Übertragungswege

Apps Script zur Übertragung von Google Ads API Daten nach BigQuery

Vor- und Nachteile dieser Lösung

Installation

Script installieren

Variablen konfigurieren

Daten festlegen mit dem GAQL Query Builder

Übertragung starten

Das komplette Script zur freien Nutzung:

Einen Kommentar hinterlassen Antworten abbrechen