Was ist eigentlich mit meiner Blogserie über Daten geschehen? Nun, es war ein geschäftiges Jahr für uns und besonders aufregend war es, die vielen neuen Daten auf der “Now You Know 2017” (unserer Nutzerkonferenz in Denver) vorzustellen. In diesem Blogpost möchte ich auf die Facebook-Daten eingehen.

Wie zuvor auch liegt mein Fokus auf Transparenz, daher kann es sein, dass sich Kleinigkeiten ändern oder ich einfach etwas falsch verstanden habe. Was Sie hier lesen, können Sie vielmehr als laut ausgesprochene Gedanken von mir zu einem bestimmten Zeitpunkt ansehen als offiziellen Marketingaussagen.

Vor einigen Monaten habe ich in einem Post genau beschrieben, wie wir Instagram-Daten erhalten. Seitdem haben mich viele um einen ähnlichen Beitrag zu unseren Facebook-Daten gebeten und – voilà hier kommt er:

1. Haben Sie die Facebook Firehose?

OK, ich habe geflunkert … diese Frage wird nicht wirklich häufig gestellt. Während ich die Frage oft in Verbindung mit Instagram höre, scheint es in der Branche kein Geheimnis zu sein, dass Facebook-Daten nicht ganz so einfach zu bekommen sind. Dennoch habe ich gedacht, ich werfe diese Frage einmal in den Raum, da der Kontext für manche, die noch nicht Bescheid wissen, wichtig sein kann.

Neben dem Werbegeschäft stützt sich ein wesentlicher Teil von Twitters Business auf den Verkauf von Daten. Hierbei stehen Twitter keine wesentlichen ethischen Bedenken im Weg, da die Offenheit ein zentraler Erfolgsfaktor des Portals ist. Zum größten Teil geschehen die Unterhaltungen auf Twitter in aller Öffentlichkeit. Also ist die Frage bei Twitter schnell beantwortet: Wir haben Zugang zu Produkten wie der Twitter Firehose, die uns unbegrenzten Zugang zu den Daten geben.

Facebook allerdings … stützt sich hauptsächlich auf Werbeeinnahmen, damit ist der Verkauf von privaten Unterhaltungen zwischen Nutzern schädlich für das Vertrauensverhältnis und schadet somit in den Augen potenzieller Werbekunden dem Produkt.

Aus diesem Grund werden Rohdaten nicht verkauft und private Unterhaltungen bleiben auch privat. Wenn Sie ein Social Listening-Produkt bewerten und der Anbieter behauptet, die Facebook Firehose zur Verfügung zu haben, würde ich vorsichtig gesagt vorschlagen, diese Informationen (sowie alle weiteren Aussagen des Anbieters) skeptisch zu betrachten.

Facebook hat seine Haltung gegenüber diesen Fragen in den letzten Jahren noch verhärtet. In der Vergangenheit hat das Unternehmen eine Such-API angeboten, die es uns ermöglicht hat, alle öffentlichen Beiträge in Verbindung mit bestimmten Suchbegriffen abzufragen. So konnten wir den kleinen öffentlichen Teil von Facebook mit komplexen Suchbegriffen durchsuchen, ähnlich wie es bei Twitter tun. Allerdings wurde diese API geschlossen und es damit immer schwieriger, Facebook-Daten zu erhalten.

2. Klingt kompliziert … welche Facebook-Daten bieten wir also an?

Eigentlich ist es gar nicht so schwierig, denn es gibt noch immer viele Daten, auf die wir zugreifen können. Momentan bieten wir 3 unterschiedliche Arten der Facebook-Abdeckung:

  1. Eigene Facebook-Seiten – Wir können Beiträge und Kommentare sowie Metriken (wie etwa Likes) der Seiten, die Sie besitzen, erhalten. Die hauptsächlichen Anwendungsfälle für diese sind Kampagnen- und Performance-Metriken, Community Management und Insights.
  2. Fremde Facebook-Seiten – Wir können Beiträge und Kommentare sowie Metriken (wie etwa Likes) der Seiten erhalten, wie bei den Seiten, die sie besitzen. Die häufigsten Anwendungsfälle sind: Benchmarking, Wettbewerbs-Intelligence und Fanseiten-Engagement.
  3. Einhergehende Facebook-Abdeckung – dieser Vorteil ist wenig bekannt, aber das Erstellen von Facebook-Kanälen fügt auch Ihren regulären Brandwatch-Abfragen neue Daten hinzu. Manche Nutzer verwenden dies als Trick, um ihre allgemeine Facebook-Abdeckung zu verbessern.

3. Welchen Beschränkungen unterliegen wir in Bezug auf Facebook-Daten?

Wie bereits gesagt, gibt es keine Firehose aller Facebook-Daten, die wir nutzen dürfen. Ebenso bereits erwähnt, gibt es keine Such-API, daher crawlen wir die öffentlichen APIs, um Posts und Kommentare von Facebook-Seiten zu finden. Dieses Vorgehen ist sicherlich komplizierter als einfach Facebook zu bitten, uns alle Daten zu einem bestimmten Thema zu senden.

Es gibt zwei hauptsächliche Ressourcen, über die wir verfügen müssen, um dies erfolgreich zu tun. Die erste ist recht offensichtlich, doch wenn wir das enorme Volumen an Seiten bedenken, das unsere Kunden erwarten, dennoch nicht unbedeutend: Rechenkapazität. Wir benötigen genügend Server, um jeden Post und Kommentar kontinuierlich schnell zu crawlen, um den Marktanforderungen gerecht zu werden. Diesen Punkt wissen wir jedoch zu kontrollieren. Wenn wir mehr Power benötigen, können wir einfach mehr hinzufügen – sprich, einkaufen.

Die zweite Beschränkung liegt dagegen nicht direkt in unserer Hand.

Die öffentlichen APIs erfordern einen Token – eine Art Schlüssel oder Einladung – um an der Party überhaupt teilzunehmen. Ohne Einladung keine Party. Zum Glück ist Facebook recht großzügig mit diesen Einladungen.

Jeder Nutzer erhält wenigstens eine. Sie bekommen eine, wenn Sie ein aktiver Nutzer sind.

Damit können Sie stündlich eine kleine Menge Daten abfragen. Wenn Sie einen User Account haben, der Seiten als Administrator verwaltet, erhalten Sie extra Token und damit mehr Datenabfragen für jede Seite. Diese Seiten-Token sind in der Regel größer. Also gibt es sowohl gute als auch schlechte Nachrichten.

Die schlechte Nachricht ist, dass wir nicht mehr Token kaufen können. Auf der anderen Seite können wir Token generieren, wenn ein Nutzer seinen Facebook Account über unsere App authentifiziert und damit unsere Abdeckung ein wenig verbessern.

4. Was kann ich tun, um die Facebook-Abdeckung zu verbessern?

Wir benötigen derzeit nicht viel für das Erstellen eines Kanals, Sie können einfach so viele hinzufügen, wie Sie mögen, aber wie Sie später in diesem Artikel lesen werden, hat die Authentifizierung mit mehreren Facebook-Konten entscheidende Vorteile für Ihr Crawling. Das gilt besonders, wenn diese Accounts über Administratorrechte der Seiten, die Sie crawlen möchten, verfügen.

5. Also kann ich einfach irgendwelche Facebook Accounts erstellen, um meine Abdeckung zu verbessern?

Zum Glück nicht.

Facebook steigert unser Kontingent für jeden aktiven Facebook Account, der sich authentifiziert. Erstellt jemand [email protected], [email protected]… [email protected], verbessert das die Abdeckung desjenigen nicht. Man muss sich mit aktiven Facebook-Nutzern authentifizieren.

6. Erzähl mir mehr über diese einhergehende Facebook-Abedeckung … ?

Wie Ihr schon wisst, können wir in Facebook keine Suchen über eine API anfragen, doch es gibt einen kleinen Trick, um ein ähnliches Ergebnis zu erzielen.

Da die Datenkanäle im gleichen Archiv neben all unseren anderen Social-Daten gespeichert sind, sind sie für reguläre Brandwatch Analytics Queries verfügbar, sobald einmal dort gelandet.

Das bedeutet, Sie können in der App Kanäle erstellen, um Daten von Facebook-Seiten zu erfassen, die für Ihre Branche relevant sind, und den Inhalt anschließend mit einer spezifischer formulierten Query in der App abgleichen.

Wenn Sie beispielsweise Mobilfunktelefone herstellen, möchten Sie sicher Mentions von Ihren Telefonen sowie den Modellen Ihrer Mitbewerber erfassen. Wir können keine Queries direkt in Facebook einstellen, doch Sie können Kanäle für die wichtigsten Gadget- und Telefonseiten auf Facebook erstellen, wie etwa The Verge, Endgadget, Android Central etc. Anschließend erstellen Sie eine Query für Ihre Produkte und jegliche Posts oder Kommentare aus den Kanälen, die mit dem Text Ihrer Query übereinstimmen, werden erfasst und in Ihren Dashboards neben den Daten von Twitter, Nachrichtenseiten, Instagram und Reddit – den gesamten Webdaten – abgebildet.

7. Wie erhalten wir die Daten für diese 3 unterschiedlichen Szenarien?

Sie werden staunen … wir gehen in allen 3 Fällen gleich vor. Sie authentifizieren sich mit Facebook über unsere App und erstellen dann einen Kanal durch Eingabe der Seiten-Url. Das ist auch schon alles.

Weil wir auf diese Weise vorgehen, können wir die Abdeckung der fremden Channels (Szenario 2 & 3) anbieten, was viele unserer Mitbewerber nicht können. Manche von ihnen unterstützen lediglich das Crawling von eigenen Seiten und bieten zufällige Daten der fremden Seiten an (die gesammelt wurden, weil andere Kunden sie erfasst haben).

Allerdings müssen wir ein paar Vorteile in der Unterscheidung vernachlässigen, weil wir alle drei Szenarien gleich behandeln (im Prinzip als Non-owned Pages), was der kleinste gemeinsame Nenner ist.

8. Was verändert sich also?

Wir spalten die eigenen Facebook-Seiten von den fremden Facebook-Seiten ab.

  • Für eigene Seiten gilt:

Wir geben Ihnen die Möglichkeit, sich mit dem Facebook Account zu authentifizieren, der ein Administrator jener Seite ist. So erhalten wir einen speziellen Token (wie ein virtueller Schlüssel), der ein höheres API-Limit freigibt, was bedeutet, dass wir geringere Latenzzeiten und mehr Daten anbieten können. Dieser Token kann uns zudem Zugang zu anderen APIs geben und erlaubt uns, neue Features für Seiteninhaber zur Verfügung zu stellen. Momentan kann ich noch nicht viel über diese potenziellen neuen Features verraten, nur so viel … behalten Sie diesen Blog im Auge.

  • Für fremde Seiten gilt:

Wenn Ihnen die Seite nicht gehört, können Sie uns auch den Administrator-Token für diese Seite nicht zur Verfügung stellen. Aus diesem Grund sammeln wir weiter User Token, um das Limit für das benötigte Crawling bereitzustellen. Wir beginnen damit, für jeden fremden Channel, den Sie crawlen möchten, einen User Token abzufragen. Um diesen Vorgang für Sie so einfach wie möglich zu gestalten, möchten wir ein einfaches E-Mail basiertes Einladungssystem einrichten.

Scaling: Das letzte Puzzleteil ist: Sobald wir die Token-Kollektion und das Zuteilungsverfahren verbessert haben, werden wir unsere Rechenkapazität massiv erhöhen. Das klingt vielleicht nach einem irrelevanten technischen Detail, doch so konnten wir bereits unsere Instagram-Abdeckung in den vergangenen Monaten ganz erheblich verbessern. Facebook soll nun folgen!

9. Was passiert, wenn ich den Page Admin Account nicht habe?

„Moment mal,“ sagen Sie jetzt vielleicht. „Ich gehöre zu einer Agentur und wir arbeiten für die Marke – allerdings haben wir keinen Admin-Zugang zu deren Facebook Seiten“. Ein gutes Argument!

Wir werden ein E-Mail-Einladungssystem einrichten, damit Sie den Social Media Manager oder wer auch immer über den Zugang verfügt (in Ihrem Unternehmen oder außerhalb) einladen können. Weiter oben finden Sie entsprechende Mockups.

10. Was haben wir als Kunden von all diesen Veränderungen?

Der ganze Sinn und Zweck des Projekts besteht darin, Ihnen selbst die Möglichkeit zu geben, Ihre Facebook-Abdeckung zu verbessern. Wenn Sie dieses Feature nicht nutzen, erhalten Sie immer noch einige Facebook-Daten, dies ist ein Mechanismus, um die grundlegende Abdeckung zu verbessern. Die Vorteile sind:

  1. Vorhersehbarkeit: Zum Teil geht es bei diesem Programm darum, SLAs mit dem Entwicklerteam zu vereinbaren. Bisher konnte unsere Crawling-Rate begrenzt sein, wenn die Nutzer uns nicht genug Token für die gewünschten Kanäle bereitstellten. Die Verhandlungen gingen daher in die Richtung: „Wenn ich euch genug Token besorge, können wir ein SLA vereinbaren?“. Das ist das Ziel, das wir erreichen möchten. Wir werden genau veröffentlichen, wie häufig wir die Daten erfassen und für alle Kunden, die Ihre Account-Daten hinzugefügt haben, werden wir diese Crawling-Ziele zuverlässig einhalten.
  2. Mehr Daten: Die höheren Crawling Limits, die wir durch das neue Token-Management erreichen, erlauben uns, mehr Daten zu ziehen.
  3. Neue Features: Mit der Zeit werden wir neue Features rund um Owned- und Non-Owned-Anwendungsfälle einrichten. Dazu kann auch der Zugriff auf neue APIs oder spezialisierte Dashboards für die Anwendungsfälle der unterschiedlichen Szenarien gehören.

Bonusfrage! 11. Was ist mit den Facebook Topic-/Insights-Daten?

Es gab einen Datenaggregator, der exklusiven Zugang zu anonymisierten Facebook-Daten hatte.

Diese Art von Daten unterscheidet sich ein wenig von „regulären Social-Daten“. Anstatt die Rohdaten abzufragen und die Insights in unserer Plattform zu erarbeiten, werden anonymisierte Daten erfasst, indem sie eine Reihe von Bedingungen in die API eingeben und Antworten erhalten.

Anstatt zu sagen: „Senden Sie mir alle Gespräche rund um Hypotheken.“ und diese dann mit unserer Hilfe in Dashboards zu strukturieren, fragen Sie: „Welche Arten von Menschen reden über Hypotheken?“ und das System liefert Ihnen anonymisierte Demografien oder Themen.

Einerseits ist dieses Vorgehen extrem nützlich, da es Fragen in Facebooks geschlossenem Nutzerpool mit 1.9 Milliarden Nutzern beantwortet. Andererseits ist es eine etwas andere Erfahrung, denn man kann nicht tiefer in die eigentlichen Unterhaltungen einsteigen.

Wir haben diesen Service mit einigen Kunden getestet, doch der Kostenpunkt des Services stellte zu dem Zeitpunkt eine Herausforderung dar. Facebook plant nun jedoch, diesen Service direkt anzubieten und so bieten wir ihn nicht länger über die anonymisierte API eines Drittanbieters an. Wir stecken mitten in Verhandlungen mit Facebook und hoffen, zu den Ersten zu gehören, die diese Dienste anbieten, sobald die API unseren Kunden offen zur Verfügung steht.

Falls Sie Fragen oder bestimmte Wünsche für zukünftige Beiträge haben, hinterlassen Sie uns bitte weiter unten einen Kommentar.