Prof. Meyerhenke erforscht die effiziente Verarbeitung und Analyse großer Netzwerk-Datenmengen auf verteilten Computersystemen. Sein aktueller Fokus liegt auf dem intelligenten Scheduling von Datenanalyseworkflows auf heterogenen Infrastrukturen sowie auf schnellen numerischen Lösungsverfahren für komplexe Netzwerkprobleme — insbesondere unter Berücksichtigung von Energieeffizienz und CO₂-Reduktion. Für Unternehmen und öffentliche Einrichtungen bedeutet das: Datenanalyse-Pipelines laufen schneller, kostengünstiger und umweltschonender, ohne dabei an Genauigkeit zu verlieren. Die Methoden sind relevant für Branchen, die mit großen Graphen und Netzwerkdaten arbeiten — von Telekommunikation über Logistik bis zu wissenschaftlichen Datenanalysen.
🔒 Das System hat 354 mögliche Industrie-Partner gefunden — Firmen, Scores und Begründungen sind nur für eingeloggte Nutzer:innen sichtbar. Anmelden
Prof. Dr. Henning Meyerhenke
HU-FIS-Profil ↗Zahlreiche bahnbrechende Technologien generieren Datensätze von enormer Größe. Viele dieser Datensätze lassen sich als Netzwerk modellieren. Die so produzierten Datensätze enthalten wertvolle Informationen, die durch geeignete Algorithmen und Software-Tools zur Analyse extrahiert und weiterverarbeitet werden können. In diesem Folgeantrag (zweite Förderphase) fokussieren wir auf die Verbindung von Distanzen in Netzwerken (inkl. Nichtstandard-Distanzmaßen) mit essentiellen Themen der algorithmischen Netzwerkanalyse: (i) Zentralitätsmaße, einschließlich ihrer (ii) Verallgemeinerung zu Gruppenzentralitäten, (iii) Einflussmaximierung und (iv) Netzwerkhyperbolizität. Zentralitätsmaße geben die Wichtigkeit von Knoten oder Kanten an; wir betrachten Maße, die Knoten gemäß ihres durchschnittlichen Abstands zu anderen Knoten ordnen. Gruppenzentralität zielt wiederum auf die Identifizierung einer Menge von Knoten ab, so dass die Distanz zwischen jedem Knoten und mindestens einem aus der Menge klein ist. Bei der Ausbreitung von Einfluss lässt sich die Wahrscheinlichkeit, dass Einfluss propagiert werden kann, auch als eine Art Distanz auffassen. Schließlich gibt die Eigenschaft der Hyperbolizität an, wie ähnlich der metrische Raum eines Graphen zu dem eines Baumes ist. All diese algorithmischen Aufgaben haben zahlreiche Big-Data-Anwendungen. Dazu gehören unter anderem Marketing-Strategien, Routing und Netzwerksicherheit. Trotzdem haben bisherige Algorithmen deutliche Schwächen, wenn die Eingabe groß ist oder eine komplexe Struktur aufweist. Da viele Realwelt-Datensätze bereits Ungenauigkeiten enthalten, befürworten wir einen inexakten Lösungsprozess mit Approximationsalgorithmen und Heuristiken. Wir werden daher für die genannten Aufgaben deutlich verbesserte Algorithmen für den Einsatz in großen und dynamischen Netzwerken entwickeln und implementieren. Die Eingabegröße, die in akzeptabler Zeit handhabbar ist, soll dabei um mindestens eine Größenordnung im Vergleich zum Stand der Technik verbessert werden. Wir integrieren unsere neuen Methoden in die Open-Source-Software zur Netzwerkanalyse NetworKit, welche wann immer möglich Parallelität mit gemeinsamem Speicher nutzt. Das Werkzeug ist frei und kostenlos für die Allgemeinheit und andere SPP-Projekte zugänglich. Dadurch wird die sofortige Anwendung unserer Beiträge auf Realwelt-Probleme, die skalierbare Codes erfordern, gefördert.
ACM Computing Surveys · DOI
In recent years, significant advances have been made in the design and evaluation of balanced (hyper)graph partitioning algorithms. We survey trends of the past decade in practical algorithms for balanced (hyper)graph partitioning together with future research directions. Our work serves as an update to a previous survey on the topic [ 29 ]. In particular, the survey extends the previous survey by also covering hypergraph partitioning and has an additional focus on parallel algorithms.
ACM Transactions on Knowledge Discovery from Data · DOI
Given a connected graph G =( V , E ), where V denotes the set of nodes and E the set of edges of the graph, the length (that is, the number of edges) of the shortest path between two nodes v and w is denoted by d ( v , w ). The closeness centrality of a vertex v is then defined as n =1/Σ w ∈ V d ( v , w ), where n =| V |. This measure is widely used in the analysis of real-world complex networks, and the problem of selecting the k most central vertices has been deeply analyzed in the last decade. However, this problem is computationally not easy, especially for large networks: in the first part of the article, we prove that it is not solvable in time O (| E | 2=ϵ ) on directed graphs, for any constant ϵ > 0, under reasonable complexity assumptions. Furthermore, we propose a new algorithm for selecting the k most central nodes in a graph: we experimentally show that this algorithm improves significantly both the textbook algorithm, which is based on computing the distance between all pairs of vertices, and the state of the art. For example, we are able to compute the top k nodes in few dozens of seconds in real-world networks with millions of nodes and edges. Finally, as a case study, we compute the 10 most central actors in the Internet Movie Database (IMDB) collaboration network, where two actors are linked if they played together in a movie, and in the Wikipedia citation network, which contains a directed edge from a page p to a page q if p contains a link to q .
Viele gängige Techniken des Graph Mining und des maschinellen Lernens basieren auf Routinen der linearen Algebra (LA), welche auf großen Datensätzen sehr rechenintensiv sind. Ein wesentliches Beispiel ist die Berechnung vieler Eigenpaare oder eine vollständige Spektralzerlegung der Laplace-Matrix eines Graphen. Die Anwendung dieser Operationen auf Graphen mit Millionen oder Milliarden von Kanten resultiert in hohen Laufzeiten und ist mitunter nicht praktikabel. Außerdem berücksichtigen Bibliotheksimplementierungen von Routinen der LA nicht, wenn sich ein Graph über die Zeit verändert. Da uns solche dynamischen Graphen wie der Web-Graph oder soziale Interaktions-Netzwerke im Überfluss in Praxisanwendungen begegnen, führt diese Nichtberücksichtigung zu Ressourcenverschwendung. Unser Antrag zielt auf deutlich schnellere (dabei inexakte) Algorithmen für LA-Routinen ab, die für dynamische Graph-Mining-Anwendungen eingesetzt werden. Wir möchten Algorithmen entwickeln, die den Zustand des Graphen und des Algorithmus über die Zeit mit geeigneten Datenstrukturen verfolgen; dies vermeidet kostenintensive Neuberechnungen. Außerdem verwenden wir Approximation, um Rechenzeit mit (einer adäquaten) Genauigkeit abzuwägen. Weiterhin nutzen wir gängige strukturelle Eigenschaften von komplexen Netzwerken aus, unserer Hauptklasse von Eingaben. Zu diesem Zweck verbinden wir Ergebnisse und Methoden aus der numerischen LA, dem kombinatorischen wissenschaftlichen Rechnen sowie der theoretischen Informatik miteinander. Ein signifikanter Teil des Projektes soll die erzielten Verbesserungen anhand von drei gängigen algorithmischen Problemstellungen des Graph Mining in dynamischen Szenarien demonstrieren: Clusteranalyse, Ähnlichkeit und Repräsentation. Schlussendlich sollen die entwickelten Algorithmen in die quelloffene Netzwerkanalyse-Software NetworKit integriert werden; auf diese Weise erleichtern wir den Transfer unserer Ergebnisse in die wissenschaftliche Community und beschleunigen zudem verwandte Algorithmen in NetworKit.
Die effiziente Realisierung komplexer DAWs auf verteilten Systemen erfordert fundierte Kenntnisse zahlreicher Technologieaspekte wie abstrakten DAW-Beschreibungssprachen, ihrer Übersetzung in logische Ausführungspläne, der Zuordnung logischer Ausführungsschritte zu der aktuell verfügbaren Infrastruktur und der Konfiguration von Infrastruktur und Laufzeitumgebungen. DAW-Komponenten, die für eine spezifische Umgebung entwickelt wurden, sind heute kaum ohne eklatanten Effizienzverlust in andere Umgebungen übertragbar. Ziel des Teilprojekts B01 ist es, die Portabilität und die Adaptivität von DAWs zu verbessern, in dem DAW-Anforderungen mit einer deklarativen Beschreibung der verfügbaren Infrastruktur verglichen und anschließend mit neuartigen Scheduling-Algorithmen abgebildet werden. B01 ist ein wichtiger Partner für mehrere FONDA-Teilprojekte, da die hier entwickelten deklarativen Hardwarebeschreibungen eine der Kernvoraussetzungen für Portabilität darstellen. B01 wird von Prof. Kao, einem Experten für die Entwicklung und den Betrieb großer verteilter Systeme, und Prof. Meyerhenke, einem Experten für Scheduling und Lastbalancierung, geleitet.
2021 IEEE International Conference on Big Data (Big Data) · DOI
Scientific workflow management systems like Nextflow support large-scale data analysis by abstracting away the details of scientific workflows. In these systems, workflows consist of several abstract tasks, of which instances are run in parallel and transform input partitions into output partitions. Resource managers like Kubernetes execute such workflow tasks on cluster infrastructures. However, these resource managers only consider the number of CPUs and the amount of available memory when assigning tasks to resources; they do not consider hardware differences beyond these numbers, while computational speed and memory access rates can differ significantly.We propose Tarema, a system for allocating task instances to heterogeneous cluster resources during the execution of scalable scientific workflows. First, Tarema profiles the available infrastructure with a set of benchmark programs and groups cluster nodes with similar performance. Second, Tarema uses online monitoring data of tasks, assigning labels to tasks depending on their resource usage. Third, Tarema uses the node groups and task labels to dynamically assign task instances evenly to resources based on resource demand. Our evaluation of a prototype implementation for Kubernetes, using five real-world Nextflow workflows from the popular nf-core framework and two 15-node clusters consisting of different virtual machines, shows a mean reduction of isolated job runtimes by 19.8% compared to popular schedulers in widely-used resource managers and 4.54% compared to the heuristic SJFN, while providing a better cluster usage. Moreover, executing two long-running workflows in parallel and on restricted resources shows that Tarema is able to reduce the runtimes even more while providing a fair cluster usage.