Wissen aus dem Web

Manches Wissen liegt nicht in eigenen Dateien, sondern auf Webseiten – sei es auf der eigenen Website, in Fachportalen oder bei Partnern. Der Knowledge Crawler erfasst ausgewählte Webquellen kontrolliert und bereitet sie zu nutzbarem Wissen auf.

Was ist der Knowledge Crawler?

Der Knowledge Crawler ist der Dienst, mit dem der Hub ausgewählte Webinhalte erfasst. Ihr legt fest, welche Quellen (Wissens-Domänen) einbezogen werden; der Hub ruft die Seiten ab, extrahiert die relevanten Inhalte und ordnet sie einer Domäne zu – inklusive Quellenangabe und auf Wunsch regelmäßig aktualisiert.

Funktionen und Möglichkeiten

• Webquellen erfassen: Einzelne Seiten oder ganze Bereiche kontrolliert abrufen und aufbereiten.
• Wissens-Domänen verwalten: Quellen zu thematischen Domänen bündeln und deren Inhalte zentral einsehen.
• Status verfolgen: Den Fortschritt einer Erfassung und die enthaltenen Inhalte jederzeit nachvollziehen.
• Domain-Manifest: Pro Domäne festhalten, was genau erfasst werden soll und wie die Domäne beschrieben ist.
• Rückmeldungen: Über Webhooks automatisch informiert werden, sobald neue Inhalte verfügbar sind.

Typische Einsatzszenarien

• Die eigene Website als durchsuchbare Wissensquelle erschließen.
• Ausgewählte externe Fachquellen kontrolliert einbinden und aktuell halten.
• Eine kuratierte, themenbezogene Wissens-Domäne aufbauen.

Gut zu wissen

• Volle Kontrolle & Compliance: Im Mittelpunkt steht die Kontrolle. Es wird nur erfasst, was ihr bewusst freigebt – es findet keine unkontrollierte Vermischung mit beliebigem Internet-Wissen statt. Das macht den Einsatz auch aus Compliance-Sicht nachvollziehbar und sicher.
• Rechtlicher Rahmen: Der Crawler respektiert gängige Web-Standards. Achtet bei der Einbindung externer Quellen darauf, dass diese frei zugänglich sind und der Betreiber das automatisierte Auslesen (Text and Data Mining) nicht ausdrücklich maschinenlesbar untersagt hat.
• Die erfassten Webinhalte durchlaufen anschließend exakt dieselbe semantische Anreicherung wie hochgeladene Dokumente.

Weiter: Semantische Anreicherung