Copy page

Quelle verbinden

GCP verbinden

Geben Sie Ihren BigQuery-Abrechnungsexport für das Dienstkonto frei, das Costfluent für Ihre Organisation erstellt hat, in der Konsole oder mit Terraform, und fügen Sie das Rechnungskonto als Verbindung hinzu.

Costfluent liest Google-Cloud-Kosten aus Ihrem BigQuery-Abrechnungsexport. Es erstellt für Ihre Organisation ein Dienstkonto in seinem eigenen Google-Cloud-Projekt, und Sie gewähren diesem Konto Lesezugriff auf das Export-Dataset. Es wird kein Schlüssel erstellt oder ausgetauscht, und in Ihrer Cloud entsteht nichts außer dieser einen Freigabe.

Verbinden Sie ein Rechnungskonto, kein Projekt. Sein Export enthält bereits die Kosten aller Projekte, die das Rechnungskonto bezahlt, sodass eine Verbindung alle abdeckt.

Wie Costfluent verbindet

BigQuery Data Viewer auf dem Export-Dataset, sonst nichts. Costfluent führt seine Abfragen in seinem eigenen Projekt aus und bezahlt sie dort. Es braucht daher keine Rolle in Ihrem Projekt und kann weder andere Datasets sehen noch Jobs auf Ihre Rechnung ausführen oder etwas ändern.

Für den Bericht zum CO2-Fußabdruck gewähren Sie dem Dienstkonto außerdem BigQuery Data Viewer auf dem Dataset, in das Ihr Carbon-Footprint-Export schreibt (Carbon-Footprint-Export).

Damit Ihre Committed Use Discounts unter Commitments erscheinen, gewähren Sie dem Dienstkonto außerdem BigQuery Data Viewer auf dem Dataset, in das Ihr Metadatenexport der Committed Use Discounts schreibt (Committed-Use-Discount-Export).

Recommender-Rollen

Damit Einsparungen die Kostenempfehlungen von Google Cloud Recommender auflistet, gewähren Sie dem Dienstkonto zusätzlich diese Rollen auf jedem zu lesenden Projekt oder einmal auf einem Ordner oder der Organisation darüber, was jedes Projekt darunter erbt. Diese Rollen lesen nur Empfehlungen und Insights:

Die breitere Rolle Recommender Viewer ist nicht nötig; sie würde auch die IAM-, Firewall- und Sicherheits-Insights des Projekts zeigen. Ein Projekt ohne diese Rollen wird übersprungen (Einsparungen).

Voraussetzungen

1. Die Organisationsrolle Eigentümer oder Integrationsverantwortliche Person in Costfluent.
2. Ein Projekt für die Abrechnungsdaten. Ein eigenes Projekt hält den Zugriff eng.
3. Ein BigQuery-Dataset in diesem Projekt, in der Multi-Region US oder EU.
4. Unter Abrechnung, dann Abrechnungsexport, der Export Detaillierte Nutzungskosten in dieses Dataset aktiviert. Dem Standardexport fehlen die Felder pro Ressource, die Costfluent liest. Google kann einige Stunden brauchen, bis die ersten Zeilen geschrieben sind.
5. Optional, für den Bericht zum CO2-Fußabdruck: der Carbon-Footprint-Export nach BigQuery für dasselbe Rechnungskonto, in ein Dataset im selben Projekt.
6. Optional, für Committed Use Discounts unter Commitments: unter Abrechnung, dann Abrechnungsexport, der Metadatenexport der Committed Use Discounts für dasselbe Rechnungskonto aktiviert, in ein neues Dataset im selben Projekt. Googles Einrichtung legt dieses Dataset an und sagt, kein bestehendes zu verwenden. Der Export ist eine Preview-Funktion von Cloud Billing, und zum Aktivieren brauchen Sie die Rolle Billing Account Administrator auf dem Rechnungskonto und BigQuery Admin auf dem Projekt.

Verbinden

In der Konsole verbinden

Costfluent prüft die Abfrage, die es ausführen wird, bevor es etwas speichert. Eine Verbindung, die sich speichern lässt, kann also Ihre Kosten lesen. Antwortet Google bei dieser Prüfung nicht, wird die Verbindung trotzdem gespeichert und automatisch erneut geprüft.

Mit Terraform verbinden

Mit dem Costfluent-Terraform-Provider ist die ganze Verbindung ein Apply. Die Ressource costfluent_gcp_service_account liefert die Adresse des Dienstkontos als email, das Modul costfluent/cost-access/gcp gewährt ihr die Rolle auf dem Dataset, und die Ausgabe credentials des Moduls speist costfluent_provider:

Code
resource "costfluent_gcp_service_account" "this" {}

module "costfluent_gcp" {
  source  = "costfluent/cost-access/gcp"
  version = "~> 0.4"

  project_id                       = "<Projekt mit dem Export>"
  billing_dataset_id               = "<Export-Dataset>"
  billing_account_id               = "012345-ABCDEF-678901"
  costfluent_service_account_email = costfluent_gcp_service_account.this.email

  # Optional: die Projekte, deren Kostenempfehlungen Einsparungen auflistet, oder die numerischen IDs
  # von Ordnern oder der Organisation, deren Projekte es auflistet.
  recommender_project_ids     = ["<Projekt>", "<weiteres Projekt>"]
  recommender_folder_ids      = []
  recommender_organization_id = null

  # Optional: das Dataset des Carbon-Footprint-Exports, im selben Projekt.
  carbon_dataset_id = "<Carbon-Footprint-Dataset>"

  # Optional: das Dataset des Metadatenexports der Committed Use Discounts, im selben Projekt.
  cud_dataset_id = "<Committed-Use-Discount-Dataset>"
}

resource "costfluent_provider" "gcp" {
  key          = "gcp"
  display_name = "Google Cloud"
  credentials  = module.costfluent_gcp.credentials
  settings     = module.costfluent_gcp.settings

  depends_on = [module.costfluent_gcp]
}

credentials enthält die Rechnungskonto-ID, das Projekt und das Dataset, dieselben drei Werte, nach denen der Dialog fragt. settings enthält carbon_dataset, wenn carbon_dataset_id gesetzt ist, und cud_dataset, wenn cud_dataset_id gesetzt ist, und ist ohne beide leer. Das Modul gewährt dem Dienstkonto BigQuery Data Viewer auf jedem Dataset, das Sie angeben. Eine neue Freigabe braucht etwas, bis sie wirkt, daher versucht es costfluent_provider bis zu drei Minuten erneut, solange Costfluent das Dataset als noch nicht freigegeben meldet. Die Ressource liefert außerdem organization_id und directory_customer_id, die IDs, die Sie erlauben, wenn Ihre Organisation Freigaben auf bekannte Domains beschränkt.

recommender_folder_ids und recommender_organization_id gewähren die drei Recommender-Rollen auf Ordnern oder der Organisation statt auf jedem Projekt, sodass auch später darunter angelegte Projekte abgedeckt sind. Costfluent liest Empfehlungen nur für die Projekte in den aktuellen Kostenzeilen des Abrechnungsexports, gleich auf welchem Weg die Rollen gewährt sind.

Daten und Aktualität

Beim Verbinden wird so weit zurück importiert, wie der rückwirkende Import Ihres Tarifs reicht, höchstens sechs Monate (Verbindungen verwalten), soweit der Export so weit zurück Daten enthält.

Google korrigiert einen vergangenen Monat, indem es dem Export Zeilen hinzufügt, ohne zeitliche Grenze. Jede Synchronisierung prüft den Export auf Zeilen, die zu abgeschlossenen Monaten hinzugekommen sind, und Costfluent erfasst jeden korrigierten Monat erneut, so weit zurück, wie die Historie Ihres Tarifs reicht, höchstens drei Jahre.

Carbon-Footprint-Export

Google liefert die Emissionen jedes Monats am 15. des Folgemonats, und die erste Lieferung des Exports reicht bis Januar 2021 zurück. Costfluent liest ihn am 22. (CO2-Fußabdruck), mit demselben Dienstkonto wie die Kosten. Das CO₂-Dataset wird beim Hinzufügen der Verbindung gesetzt; die Verbindungsseite kann es nicht ändern. Um einer bestehenden Verbindung eines hinzuzufügen, setzen Sie carbon_dataset über settings in Terraform oder PUT /v1/providers/{providerId} der Public API.

Committed-Use-Discount-Export

Google schreibt täglich einen Schnappschuss der ausgabenbasierten Committed Use Discounts des Rechnungskontos in die Tabelle cud_subscriptions_export des Exports. Costfluent liest sie einmal täglich, mit demselben Dienstkonto wie die Kosten, und listet jedes Commitment unter Gehaltene Commitments mit seinem Ende. Rückt eines an sein Ende heran, erhält jeder Workspace, der es listet, eine Benachrichtigung (Commitments). Das Dataset der Committed Use Discounts wird beim Hinzufügen der Verbindung gesetzt; die Verbindungsseite kann es nicht ändern. Um einer bestehenden Verbindung eines hinzuzufügen, setzen Sie cud_dataset über settings in Terraform oder PUT /v1/providers/{providerId} der Public API.

Berichtsdimensionen

Was jede Gruppierungsdimension eines Kostenberichts für eine Google-Cloud-Verbindung enthält und aus welcher Spalte des Exports der detaillierten Nutzungskosten sie stammt.

Aktualisieren oder trennen

Nach dem Verbinden

Der Tab Verwalten listet die Verbindung unter ihrem Anzeigenamen, mit ihrer Rechnungskonto-ID, ihrem Projekt und ihrem Dataset. Über das Zahnrad daneben sehen Sie, ob das Dataset noch lesbar ist, welche Workspaces die Verbindung speist und welche Abrechnungsmonate importiert wurden.

Prüfungen ausführen auf der Verbindungsseite führt die Prüfungen auf Anfrage erneut aus und meldet jede einzeln, sodass ein Fehler den fehlgeschlagenen Schritt benennt.

Zugriff rotieren oder entfernen

Es gibt keinen Schlüssel zu rotieren. Um die Verbindung aufzugeben, entfernen Sie sie in Costfluent und entziehen Sie dem Dienstkonto die Freigabe auf dem Dataset, oder führen Sie terraform destroy aus. Das Entfernen löscht die von ihr importierten Kosten (Verbindung entfernen). Wird eine Costfluent-Organisation gelöscht, wird ihr Dienstkonto mit gelöscht.

Costfluent löscht das Dienstkonto außerdem, sobald es 7 Tage lang keine Verbindung und kein Cloud-Storage-Ziel genutzt hat. Rechnungskonto hinzufügen, die Bereitstellung über die API oder ein Terraform-Plan legt es unter derselben Adresse wieder an, doch Google überträgt die Freigaben des alten Kontos nicht: Gewähren Sie ihm alles erneut, wie in den Schritten oben, bevor Sie verbinden.

Fehlerbehebung

• Das Dataset ist noch nicht freigegeben. Der Test nennt das Dataset und das Dienstkonto, auch in der deutschen Oberfläche auf Englisch. Gewähren Sie die Rolle und versuchen Sie es einige Minuten später erneut, denn so lange kann eine neue Freigabe brauchen.
• Das Dienstkonto wurde entfernt. Verbinden Sie, nachdem Costfluent das ungenutzte Dienstkonto gelöscht hat (Zugriff rotieren oder entfernen), legt Costfluent es wieder an, und der Test sagt das. Gewähren Sie ihm erneut BigQuery Data Viewer auf dem Dataset sowie auf den Datasets für Carbon und Committed Use Discounts und die Recommender-Rollen, falls Sie sie genutzt haben (ein erneutes Anwenden des Costfluent-Moduls gewährt alle), und verbinden Sie dann.
• Der Abrechnungsexport ist noch nicht befüllt. Das Dataset existiert, hat aber noch keine Exporttabelle. Google legt sie einige Stunden nach dem Aktivieren des Exports Detaillierte Nutzungskosten an.