Wichtigste Erkenntnisse
- Beeinträchtigt ≠ ausgefallen: Ein Laufwerk, dessen E/A-Latenz von ~10 ms auf über 100 ms ansteigt, kann die Geschäftskontinuität beeinträchtigen, selbst wenn es nicht vollständig ausgefallen ist – ein Zustand, der schwieriger zu erkennen ist als ein direkter Hardwareausfall.
- Geschwindigkeit ist entscheidend: Sangfor aSAN (Sangfors softwaredefinierte verteilte Speicherlösung) erkennt ein blockiertes HDD-Laufwerk innerhalb von 13 Sekunden, im Vergleich zu vSANs Standard-Timeout von 120 Sekunden für die Offline-Kennzeichnung einer Festplatte.
- Granularität reduziert die Auswirkungen: Die Shard-basierte Isolation von Sangfor aSAN vermeidet es, ein ganzes Laufwerk wegen einiger inkonsistenter Shards offline zu nehmen, im Gegensatz zu herkömmlichen Ansätzen, die auf der Ebene des gesamten Laufwerks isolieren.
- Software-First-Design: Sangfor aSAN führt die Isolation vollständig auf der Anwendungs-/Softwareebene durch, ohne dass physische Laufwerke entfernt werden müssen. Dadurch werden Hardware-Kompatibilitätsabhängigkeiten zwischen verschiedenen Herstellern reduziert.
- Adaptive Fehlerbehandlung: Das Distributed Fault Center von Sangfor aSAN reaktiviert Replikate, die sich auf natürliche Weise wiederherstellen, und löst nur bei persistenten oder wiederkehrenden Fehlern eine vollständige Isolation und einen Wiederaufbau aus, wodurch unnötige Wiederaufbauzyklen minimiert werden.
- Im Praxiseinsatz bewährt: In der MES-Umgebung eines Fertigungskunden konnte ein Festplattenausfall innerhalb von 15 Sekunden nach dem Einsatz von Sangfor aSAN behoben werden. Mehrere Ereignisse mit beeinträchtigter Festplattenleistung wurden über einen Zeitraum von sechs Monaten abgefangen, wobei die Serviceunterbrechung sehr kurz gehalten wurde.
- Breitere Anwendbarkeit als bei Out-of-Band-Monitoring: Im Vergleich zu iostat-basierten Konkurrenzlösungen bietet das eingebettete, pro-I/O-Monitoring von Sangfor aSAN feinere Metriken und ein geringeres Risiko falsch-positiver Ergebnisse.
Im Zuge der Modernisierung der Virtualisierungsinfrastruktur wird von Unternehmen erwartet, dass verteilte Speichersysteme in zunehmend komplexen und heterogenen Hardwareumgebungen eine stabile und effiziente Leistung erbringen. Dabei muss ein Laufwerk nicht vollständig ausfallen, um den Geschäftsbetrieb zu beeinträchtigen. Ein Gerät, das online bleibt, während seine E/A-Reaktionszeit von etwa 10 ms auf über 100 ms ansteigt, kann Replikatschreibvorgänge verzögern, den Clusterdurchsatz reduzieren und die Servicekontinuität gefährden.
Sangfor aSAN begegnet dieser Herausforderung mit einem softwarebasierten Laufwerksisolierungs-Framework, das darauf ausgelegt ist, defekte Komponenten zu identifizieren, deren Auswirkungen einzudämmen und die Speicherstabilität zu schützen, ohne jede vorübergehende Verlangsamung sofort als dauerhaften Hardwareausfall zu behandeln.
TEIL 1. Beeinträchtigte Laufwerke: Die versteckte Bedrohung für die Geschäftsstabilität
Verteilte Speichersysteme verwenden üblicherweise stark konsistente, auf mehreren Replikaten basierende Schreibalgorithmen. Ein Schreibvorgang wird der Anwendung erst dann bestätigt, wenn alle erforderlichen Replikate den Vorgang abgeschlossen haben. Wenn ein Laufwerk, ein Host oder eine andere Komponente in einen beeinträchtigten Zustand gerät, beispielsweise wenn die Antwortzeit der Festplatten-E/A von 10 ms auf über 100 ms ansteigt, kann die Schreib-E/A ins Stocken geraten. Dies beeinträchtigt die Anwendungsleistung erheblich und kann potenziell zu großflächigen Dienstausfällen führen. In heterogenen Hardwareumgebungen, in denen die Qualität und die Ausfallcharakteristika der Komponenten variieren können, kann diese Herausforderung noch deutlicher werden.
Herkömmliche Lösungen nutzen typischerweise eine Out-of-Band-Erkennung, um ein beeinträchtigtes Laufwerk in einen Ausfallzustand zu versetzen. Dies kann zwar die Geschäftskontinuität gewährleisten, weist aber zwei wesentliche Einschränkungen auf. Erstens kann sich ein beeinträchtigter Zustand später wieder normalisieren. Zweitens kann die Behandlung einer Beeinträchtigung als permanenter Ausfall den Hardwareaustausch und den Verschleiß beschleunigen und somit die Wartungskosten erhöhen.
Um diese Probleme zu beheben, hat die Branche einen verbesserten Ansatz eingeführt: ein anwendungsorientiertes Software-Isolationsframework. Dieses Framework überwacht regelmäßig Laufwerksstatusindikatoren wie Latenz und IOPS. Sobald ein Laufwerk einen festgelegten Schwellenwert erreicht, wird es als blockiert oder langsam identifiziert, und eine Reihe von Abhilfemaßnahmen wird eingeleitet.
Obwohl dieser Ansatz einen Fortschritt darstellt, besteht in einigen Bereichen noch Verbesserungsbedarf:
- Begrenzte Aktualität : Replikationskonsistenzprüfungen müssen alle Shards auf dem Laufwerk auflisten. Vom ersten Anzeichen eines Laufwerksausfalls bis zur endgültigen Isolierung kann der Prozess mindestens mehrere Minuten dauern, wodurch die Geschäftskontinuität bereits ernsthaft beeinträchtigt sein kann.
- Weitreichende Auswirkungen : Inkonsistenzen in nur wenigen Shards auf einem langsamen Laufwerk können verhindern, dass das gesamte Laufwerk isoliert wird, wodurch die Geschäftsunterbrechung anhalten kann.
- Unpräzise Identifizierung : Das Framework überwacht nur die Laufwerksseite, wodurch Fehlalarme und falsch positive Ergebnisse wahrscheinlicher werden.
TEIL 2. aSAN Drive Soft Isolation: Ein neues Modell für die Speicherfehlerbehandlung
Die Soft-Isolation von Sangfor aSAN-Laufwerken kombiniert anwendungsbasierte Fehlererkennung, heuristische Fehlerdiagnose und präzise Komponentenquarantäne. Diese Funktionen tragen dazu bei, dass der Ausfall einer einzelnen Komponente die Geschäftskontinuität nicht beeinträchtigt.
1. Architektur des Soft-Isolation-Frameworks: Zwei Schichten schützen die Speicherstabilität
Das aSAN Soft-Isolation-Framework nutzt das physische virtuelle Speichervolume als Managementeinheit und besteht aus zwei Teilen:
- Speicherclient-Datenebene : Die Erkennung von Replikatdegradationen schützt die Verfügbarkeit von Replikaten, isoliert ein degradiertes Replikat vorübergehend innerhalb von Sekunden und meldet schnell Fehlerinformationen, sodass der Geschäftsbetrieb nicht beeinträchtigt wird.
- Steuerungsebene für die Soft-Isolation : Das Distributed Fault Center (DFC) sammelt Fehlerinformationen, die von den Distributed Fault Node (DFN)-Plug-ins gemeldet werden. Es korreliert und analysiert die Meldungen, um Fehler präzise zu diagnostizieren und Fehlalarme zu reduzieren. Kann ein Fehler innerhalb kurzer Zeit behoben werden, wird die beeinträchtigte Replik nach der Wiederherstellung wieder aktiviert, um einen längeren Betrieb mit weniger Repliken zu vermeiden. Kann ein Fehler nicht behoben werden, wird die betroffene Komponente vollständig isoliert und die ausgefallene Replik neu erstellt, um die Datenzuverlässigkeit zu gewährleisten.
Abbildung 1. Architektur des Soft-Isolation-Frameworks von aSAN-Laufwerken.
2. Ein Durchbruch bei der Softwareisolation auf Anwendungsebene ohne physischen Festplattenausbau
Im Vergleich zur branchenüblichen Methode des physischen Laufwerksausbaus und herkömmlichen anwendungsorientierten Software-Isolationsansätzen nutzt das Sangfor aSAN-Framework einen vollständig softwarebasierten Isolationsmechanismus. Dadurch entfällt der physische Laufwerksausbau, Kompatibilitätsprobleme zwischen verschiedenen Hardwareherstellern werden vermieden und die Vielseitigkeit und Stabilität der Lösung verbessert.
DFN bietet außerdem eine Schnittstelle für Fehlerkorrektur-Plugins, die das Client-Plugin für die Datenebene und das Plugin zur Erkennung von blockierten oder langsam laufenden Laufwerken integriert. Dies erweitert die Möglichkeiten zur Fehlerbehandlung und ermöglicht eine präzisere Fehlerbehebung.
Insgesamt beweist die Soft-Isolation-Lösung von Sangfor für aSAN-Laufwerke sowohl architektonische Innovation als auch praktischen Nutzen auf Anwendungsebene und bietet einen neuen Ansatz für die Fehlerbehandlung in verteilten Speichersystemen. Die folgenden zwei Vergleichsergebnisse veranschaulichen die praktische Leistungsfähigkeit der Lösung.
TEIL 3. Validierungsergebnisse: aSAN Performance führt in allen Tests
1. Vergleich mit VMware bei Tests mit blockierten und langsamen Laufwerken
Sangfor führte vergleichende Tests und praktische Validierungen mit VMware in fünf Bereichen durch: Erkennung von blockierten Festplatten-E/A-Vorgängen, Erkennung von langsamen Festplatten-E/A-Vorgängen, Erkennung von RAID-Controller-Verschlechterungen, Wiederherstellung nach einem blockierten oder langsamen Festplattenfehler und die Auswirkungen eines solchen Fehlers auf die Geschäfts-E/A.
| Testgegenstand | aSAN (Sangfor) | vSAN (VMware) | Vergleich |
| Erkennung von Festplatten-E/A-Störungen | Wenn bei einer Festplatte eine E/A-Anforderung 13 Sekunden lang nicht ausgeführt wird oder ihre Latenz 500 ms überschreitet, identifiziert aSAN das Laufwerk als blockiert. Das Laufwerk wird nicht sofort außer Betrieb genommen. | Wenn ein Gerät oder Controller nicht innerhalb von 120 Sekunden, dem Standard-Timeout, auf einen Abbruchbefehl reagiert, markiert vSAN die Festplatte oder Festplattengruppe als offline, um zu verhindern, dass das Problem den gesamten vSAN-Cluster beeinträchtigt. | aSAN ermöglicht eine schnellere Erkennung. In Kombination mit Replikations- und Wiederherstellungsmechanismen trägt aSAN dazu bei, dass vorübergehende Fehler nicht falsch klassifiziert werden und ermöglicht eine schnelle und genaue Erkennung. |
| Erkennung langsamer Festplatten-E/A | Bei einer Festplatte (HDD) wird diese als langsam eingestuft, wenn die E/A-Latenz innerhalb eines 5-Minuten-Zeitraums 70 ms für eine Minute überschreitet. Die Festplatte wird jedoch nicht sofort außer Betrieb genommen. | Das Kriterium für ein Treiber-Downgrade wird ausgelöst, wenn innerhalb von etwa sechs Stunden vier oder mehr verzögerte Schreibvorgänge auftreten und die Schreiblatenz den vordefinierten Treiberschwellenwert überschreitet. Die Schwellenwerte betragen 500 ms für HDD-Schreibvorgänge, 50 ms für SSD-Lesevorgänge und 200 ms für SSD-Schreibvorgänge. | • aSAN identifiziert langsame Laufwerke schneller, indem es relativ direkte und einfache Kriterien verwendet. • vSAN verwendet komplexere Kriterien und einen längeren Bewertungszeitraum. |
| RAID-Controller-Degradationserkennung | Die Speicherschicht führt keine separate statistische Erkennung langsamer E/A-Vorgänge auf RAID-Hardwareebene durch. Auf der Systemsoftwareebene wird die Verschlechterung des RAID-Controllers mithilfe desselben Mechanismus wie die Erkennung langsamer Laufwerke erkannt. | Dauert die Echtzeit-E/A-Übertragung zwischen RAID-Controller und Host länger als 30 Sekunden, markiert vSAN das Gerät sofort als „Degraded“ . | aSAN ist nicht auf die Überwachung oder Fehlerbehebung auf Hardwareebene angewiesen, wodurch eine breitere Hardwareanpassungsfähigkeit ermöglicht und die Abhängigkeit von bestimmten Hardwareherstellern verringert wird. |
| Wiederherstellung nach einem Antriebsausfall oder einer langsamen Fahrt | Ein Wiederaufbau wird eingeleitet, wenn der Antriebsfehler 5 Minuten lang anhält oder wenn der Fehler innerhalb einer Stunde 3 Mal wiederkehrt und sich automatisch behebt. Dies trägt dazu bei, dass ein Wiederaufbau nicht durch einen vorübergehenden Antriebsfehler ausgelöst wird. | Sobald eine Festplatte als fehlerhaft markiert wird, beginnt vSAN sofort mit dem Wiederaufbau, sofern ausreichend Kapazität vorhanden ist. | aSAN wertet kontinuierlich den Fehlerzustand aus, wodurch die Wahrscheinlichkeit eines unnötigen Wiederaufbaus aufgrund eines vorübergehenden Fehlers deutlich reduziert und die Gesamtstabilität des Systems verbessert wird. |
| Geschäftliche E/A während eines blockierten oder langsamen Laufwerksfehlers | Wenn die E/A-Vorgänge nach 8 Sekunden ein Timeout verursachen oder dauerhaft langsam bleiben, wird das betroffene Laufwerk herabgestuft und geschäftliche E/A-Vorgänge werden nicht mehr an die betroffene Replik gesendet. Wenn ein einzelner Shard jedoch weniger Replikate hat als erforderlich, kann aSAN weiterhin Daten an das langsame Replikat auf Shard-Ebene senden und so die Geschäftskontinuität maximieren. |
• Sobald eine Festplatte als „Degraded“ markiert wurde, werden alle E/A-Vorgänge angehalten, während vSAN die Erreichbarkeit jedes gespiegelten Objekts neu berechnet. • Solange das Objekt fehlerfrei funktioniert, d. h. mehr als 50 % der Stimmen verfügbar sind, wird die Ein-/Ausgabe fortgesetzt. Die Prüfung dauert etwa 5–7 Sekunden. • Wenn eine VM einen FTT-Wert von 0 hat, kann die virtuelle Maschine erst wiederhergestellt werden, nachdem die ursprüngliche Festplatte wiederhergestellt oder eine Ersatzfestplatte eingesetzt wurde. |
• Bei Multi-Point-of-Fault-Szenarien unterstützt aSAN eine detailliertere Verschlechterung und Isolation auf Shard-Ebene und ermöglicht so eine präzisere Fehlerbehebung. • Sobald vSAN eine Festplatte als fehlerhaft markiert, sind die Auswirkungen weitreichender. Die 5- bis 7-sekündige Überprüfung aller gespiegelten Objekte kann zu Leistungsschwankungen führen. Werden die Replikationsanforderungen nicht erfüllt, kann die E/A auf Festplattenebene ausfallen, was Geschäftsdienste beeinträchtigt. |
Abbildung 2. Vergleich mit VMware in Tests mit blockierten und langsamen Laufwerken.
Der Vergleich mit VMware vSAN im Umgang mit blockierten und langsamen Laufwerken zeigte, dass die Sangfor aSAN-Laufwerks-Soft-Isolationslösung in der getesteten Umgebung eine stärkere Leistung und einen umfassenderen Überwachungsmechanismus bot.
2. Vergleich mit der Soft-Isolation-Lösung eines anderen Anbieters
| Lösungsdetails | Sangfor | Vergleichsanbieter | Vergleich |
| Sanierungsansatz | Sangfor verwendet eine mehrstufige Isolationsstrategie auf Basis intelligenter I/O-Analyse , die eine flexible und präzise Isolation ermöglicht und gleichzeitig die Auswirkungen auf das gesamte Speichersystem minimiert. | • Nutzt Laufwerksisolation. • Sobald iostat eine Anomalie feststellt, wird das gesamte Laufwerk isoliert. |
Sangfor ermöglicht eine feinere Isolierung und präzisere Sanierung. Die Out-of-Band-Überwachung des Vergleichsanbieters unterstützt lediglich die Isolation auf Laufwerksebene. Dieser Ansatz erfordert zwar weniger Implementierungsaufwand, liefert aber weniger effektive Ergebnisse und kann die Nutzung normaler Daten auf dem Laufwerk beeinträchtigen. |
| Erfassungspunkt | Sangfor nutzt integriertes Monitoring , um jede Storage-Client-E/A-Operation in Echtzeit zu beobachten und detailliertere Leistungsmetriken zu erfassen. | • Nutzt Out-of-Band-Monitoring. • Konzentriert sich primär auf allgemeine Leistungskennzahlen auf Festplattenebene. |
Die integrierte Überwachungslösung von Sangfor bietet eine feinere Granularität, umfassendere Kennzahlen und ein geringeres Risiko der Fehlklassifizierung. Das Out-of-Band-Monitoring des Vergleichsanbieters ist einfacher und erfordert weniger Implementierungsaufwand, jedoch ist seine Erkennungsgranularität gröber und seine Metrikabdeckung begrenzt, was es schwierig macht, Anomalien genau zu identifizieren. |
Abbildung 3. Gesamtvergleich mit der Soft-Isolation-Lösung eines anderen Anbieters.
Der Vergleich ergab folgende Beobachtungen:
- Behebungsansatz : Sangfor aSAN nutzt eine mehrstufige Isolationsstrategie basierend auf intelligenter E/A-Analyse. Die Isolationsgranularität ist feiner und die Behebung präziser. Die Vergleichslösung unterstützt lediglich die Isolation auf Laufwerksebene.
- Erkennungspunkt : Sangfor aSAN nutzt integriertes Monitoring, um jede E/A-Operation des Speicherclients zu erfassen. Dies ermöglicht eine feinere Granularität, mehr Metrikdimensionen und ein geringeres Risiko von Fehlklassifizierungen. Die Vergleichslösung verwendet Out-of-Band-Monitoring mittels iostat. Obwohl dies weniger Implementierungsaufwand erfordert, ist die Erkennung weniger effektiv.
Die Soft-Isolation-Lösung von Sangfor für aSAN-Laufwerke vereint präzise und effiziente Erkennung, intelligente und flexible Richtlinien sowie eine breite Szenarioabdeckung. Diese Eigenschaften gewährleisten einen zuverlässigen Schutz für einen stabilen Geschäftsbetrieb und machen die Lösung zu einer verlässlichen Option für Unternehmensspeichersysteme.
TEIL 4. Produktionsbereitstellung
aSAN verbessert die MES-Stabilität und reduziert den Betriebsaufwand
In unserem Manufacturing Execution System (MES) führten defekte Laufwerke zu einem drastischen Rückgang der Reaktionszeiten. Produktionsplanung, Materialwirtschaft und Qualitätsüberwachung waren davon betroffen. Die daraus resultierenden monatlichen wirtschaftlichen Verluste beliefen sich auf Hunderttausende RMB, während die Fehlersuche erheblichen Zeit- und Arbeitsaufwand in Anspruch nahm und die normale Produktion massiv störte.
Geschäftsführer, Tier-1-Fertigungsunternehmen
Lesen Sie weitere Erfolgsgeschichten von MES
Nach der Einführung der Sangfor aSAN-Laufwerks-Softisolationslösung wurden in der MES-Umgebung folgende Verbesserungen erzielt:
- Schnelle Reaktion: Ein seltener Festplattenausfall wurde innerhalb von 15 Sekunden behoben, sodass der Geschäftsbetrieb schnell wieder normal aufgenommen werden konnte.
- Anhaltende Stabilität: Mehrere Ausfälle von Laufwerken innerhalb von sechs Monaten wurden behoben, wobei die Serviceunterbrechung auf einen sehr kurzen Zeitraum beschränkt blieb.
- Verbesserte Effizienz: Der stabile und effiziente MES-Betrieb ermöglichte eine zeitnahe und präzise Produktionsplanung, verbesserte die Effizienz des Materialmanagements erheblich und unterstützte eine effektive Echtzeit-Qualitätsüberwachung, was zu einer geringeren Produktfehlerrate beitrug.
Neben den direkten finanziellen Einsparungen wurde das IT-Betriebsteam von der mühsamen Fehlersuche an der Hardware befreit, sodass es wichtige Ressourcen für strategische IT-Initiativen und die Verbesserung der Benutzererfahrung einsetzen konnte, was zu messbaren Steigerungen der gesamten betrieblichen Produktivität führte.
Die Laufwerks-Softisolation von Sangfor aSAN setzt neue Maßstäbe für proaktives Fehlermanagement in verteilten Speichersystemen. Dank jahrelanger Erfahrung in der internen Speicherentwicklung bietet Sangfor weiterhin zuverlässige Lösungen für Unternehmen, mit denen diese veraltete Infrastrukturen ersetzen und komplexe digitale Landschaften souverän meistern können.
Kostenlose Demo von Sangfor HCI anfordern
Häufig gestellte Fragen zu Sangfor aSAN und Degraded Drive
Sangfor aSAN (auch bekannt als Sangfor Distributed Storage Fabric oder Sangfor Server SAN) ist eine softwaredefinierte, verteilte Speicherlösung, die lokale Festplatten von Standard-x86-Servern zu einem einheitlichen Speicherpool zusammenfasst. Sie stellt Block-Storage- und iSCSI-Dienste für virtualisierte Umgebungen bereit und ermöglicht es virtuellen Maschinen, den Speicher dynamisch an die Geschäftsanforderungen anzupassen.
Ein beeinträchtigtes Laufwerk ist ein solches, das zwar online bleibt, aber eine ungewöhnlich hohe E/A-Reaktionszeit aufweist – beispielsweise eine Latenz, die von etwa 10 ms auf über 100 ms ansteigt. Im Gegensatz zu einem ausgefallenen Laufwerk funktioniert es nicht vollständig, kann aber Replikationsschreibvorgänge verzögern und den gesamten Speichercluster verlangsamen.
Da das Laufwerk technisch gesehen noch online ist, lässt sich mit herkömmlichen Überwachungsmethoden nicht ohne Weiteres feststellen, ob ein tatsächlicher Ausfall vorliegt oder lediglich eine vorübergehende Verlangsamung auftritt. Wird jede Verlangsamung als dauerhafter Ausfall behandelt, besteht die Gefahr eines unnötigen Hardwareaustauschs, während ein Ignorieren zu längeren Betriebsunterbrechungen führen kann.
aSAN verwendet ein zweischichtiges Soft-Isolation-Framework: eine Storage-Client-Datenebene, die Replikatdegradationen erkennt und diese innerhalb von Sekunden isoliert, und eine Steuerungsebene (Distributed Fault Center und Distributed Fault Node Plug-ins), die Fehlerdaten korreliert, wiederhergestellte Replikate wieder aktiviert und nicht wiederhergestellte Replikate vollständig isoliert und neu aufbaut.
vSAN markiert eine Festplatte oder Festplattengruppe als offline, wenn sie nicht innerhalb eines standardmäßigen Timeouts von 120 Sekunden auf einen Abbruchbefehl reagiert, und pausiert die E/A aller gespiegelten Objekte für 5–7 Sekunden während der Neuberechnung. aSAN erkennt blockierte E/A in nur 13 Sekunden, verwendet eine Isolation auf Shard-Ebene (anstatt auf der gesamten Festplatte) und kann die E/A an eine eingeschränkte Replik weiterleiten, wenn die Replikationsanforderungen anderweitig nicht erfüllt sind.
Nein. aSAN verwendet einen vollständig softwarebasierten Isolationsmechanismus auf Anwendungsebene, wodurch der physische Ausbau von Laufwerken und die damit verbundenen Hardware-Kompatibilitätsprobleme vermieden werden.
Ein Neuaufbau wird gestartet, wenn der Fehler 5 Minuten lang anhält oder wenn er innerhalb einer Stunde 3 Mal wiederkehrt und sich selbst behebt – eine Konstruktion, die unnötige Neuaufbauten aufgrund vorübergehender Probleme vermeiden soll.
In der MES-Umgebung eines Tier-1-Fertigungsunternehmens konnte aSAN einen seltenen Festplattenausfall innerhalb von 15 Sekunden beheben und die Serviceunterbrechung bei mehreren Festplattenausfällen über einen Zeitraum von sechs Monaten auf sehr kurze Zeiträume beschränken, wodurch der operative Aufwand für die Fehlersuche reduziert wurde.
