Wissenschaftliche Berichte - FZKA 5872

Modellbildung und Echtzeitsimulation deformierbarer Objekte zur Entwicklung einer interaktiven Trainingsumgebung für die Minimal-Invasive Chirurgie

Zusammenfassung

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung von Verfahren zur Repräsentation deformierbarer Objekte innerhalb einer interaktiven graphischen Simulationsumgebung. Ziel ist eine möglichst realitätsgetreue dreidimensionale Bewegungs- und Verhaltenssimulation unter Einwirkung äußerer Anregungen.

Wichtige Anforderung für Interaktivität ist die Möglichkeit der direkten Einflußnahme auf das Simulationsszenario und die unmittelbare Reaktion der betroffenen Objekte. Bedingung hierfür ist die Echtzeitfähigkeit der entwickelten Verfahren, worin auch die zentrale Forderung dieser Arbeit liegt. Diese Form der interaktiven Computergraphik wird häufig als 'Virtuelle Realität' bezeichnet, wobei schon der Name den Wunsch nach möglichst guter Nachbildung der Realität impliziert.

Die Simulation der physikalischen Eigenschaften erfordert die Erstellung eines adäquaten mathematischen Modells, das hauptsächlich auf Sachverhalten der Mechanik basiert. Ausgehend von einer allgemeinen Begriffsbestimmung deformierbarer Körper werden die Anforderungen an die Modellbildung diskutiert und auch Parallelen zur 'Finite-Elemente-Methode' (FEM) aufgezeigt. Auf Grundlage von 'nodalen Netzen' wird das MESD-Verfahren (Methodik der Modellbildung zur echtzeitfähigen Simulation und Manipulation deformierbarer Objekte über physikalisch-basierte nodale Systeme) erarbeitet. Diese Modelle sind charakterisiert durch die Anwendung physikalischer Grundgleichungen auf diskrete Objektkomponenten, im speziellen nulldimensionale, massebehaftete Knoten und kraftübertragende Verbindungselemente. Das MESD-Verfahren kann als vereinfachte Finite-Elemente-Methode angesehen werden, das auf echtzeitfähige Bewegungssimulation optimiert ist. Hierzu werden Aspekte der numerischen Simulation und der Implementierung auf Rechnersystemen erörtert.

Um eine interaktive Manipulation der Modelle durch den Bediener zu ermöglichen, sind Verfahren zur echtzeitfähigen Kollisionserkennung sowie zur Auswertung der Interaktion entwickelt worden. Insbesondere die Reaktion der deformierbaren Objekte ist in Abhängigkeit der Manipulation zu spezifizieren und zu simulieren. Bei Objektmodifikationen ist eine Strukturänderung der MESD-Modelle auszuführen. Neben den physikalischen Eigenschaften werden hierbei auch regelbasierte Verhaltensmodelle benötigt.

Die graphische Repräsentation besteht in der Visualisierung der Simulationsergebnisse auf einem Bildschirm in Form von geometrischen Modellen der deformierbaren Objekte. Ziel ist eine möglichst realistisches Aussehen. Hier werden zwei Ansätze vorgestellt, ein Ansatz auf Basis von Freiformflächen sowie eine direkte Darstellung von polygonalen Netzen.

Die erarbeiteten Verfahren sind Grundlage für die Entwicklung des 'Karlsruher Endoskopie-Trainers', mit dem die Ausbildung und das Training in der Minimal-Invasiven Chirurgie (MIC) sinnvoll unterstützt werden kann. Das Operationsfeld wird hierbei durch Modelle auf Basis deformierbarer Objekte nachgebildet, wobei der Bediener über eine realistische Bedienerschnittstelle interaktiv Einfluß auf das Szenario nehmen kann. Typische Operationsvorgänge können so in Echtzeit simuliert werden, wobei die Sicht einer Endoskopkamera vom Simulationssystem virtuell erzeugt wird.

Weitere Anwendungsgebiete liegen in den Feldern der interaktiven Computergraphik und Simulationstechnik, in denen die Echtzeitbedingung eine besondere Rolle spielt. Beispiele sind 'Virtual Reality'-Anwendungen, die Simulation technischer Systeme und die schnelle Rekonstruktion von Objekten aus Meßdaten. Abstract

Modeling and Realtime Simulation of Deformable Objects for the Development of an Interactive Training Environment for Minimally Invasive Surgery

Abstract

This thesis treats the development of methods for the representation of deformable objects embedded in an interactive graphical simulation environment. Goal is to achieve a highly realistic three-dimensional simulation of object behavior under effect of external stimulations.

An important demand for interactive systems is the possibility of directly influencing the simulation scenario including the immediate reaction of the concerned objects. Therefore the developed methods necessarily have to be realtime capable. This kind of interactive computer graphics is usually called 'Virtual Reality', by which the name implicates the desire of a good imitation of reality.

For simulation of the physical properties, the construction of an equivalent mathematical model is necessary which is based mainly on principles of mechanics. After general definitions, the demands of the modeling procedures are discussed and parallels to the method of Finite-Elements (FEM) are treated. Using the foundation of 'nodal nets', the MESD-procedure (methods of modeling for realtime capable simulation and manipulation of deformable objects using physically-based nodal systems) is worked out. This models are characterized by the application of basic physical equations on discrete object components, particularly zero-dimensional mass knots and force-transferring binding elements. The MESD-procedure can be considered as an simplified finite-element method, optimized for realtime capable simulation of body movements. Moreover, aspects of numerical simulation and implementation on computer systems are explained.

To provide an interactive manipulation of the objects by the user, several procedures for realtime collision detection and evaluation of interactions were developed. Especially the reaction of the deformable objects dependent on the manipulation is specified and simulated. Referring to object modifications, it is necessary to change and adapt the structure of the MESD-models. In addition to the physical properties, rule-based behavior models are used which define the object's reaction on different manipulations.

The graphical representation consists of the visualization of the simulation results on a display using geometrical models of the deformable objects. Goal is to achieve a highly realistic visual impression. Two methods are presented, an approach based on free-form surfaces as well as the direct output of polygonal nets.

The procedures resulted of this work are the basis for the development of the 'Karlsruhe Endoscopic Surgery Trainer'. This system can support efficiently the education and training of surgeons in Minimally-Invasive Surgery. The operation area is imitated by models based on deformable objects. The user can interactively manipulate the objects in the scenario by means of a realistic user interface. Herewith, it is possible to execute typical operation procedures. The 'synthetic' view of the endoscopic camera is generated in realtime by the simulation system.

Other application fields exist in such branches of interactive computer graphics and simulation technique where realtime demands play a crucial role. Examples are applications in 'Virtual Reality', the simulation and on-line optimization of mechanical systems and the fast reconstruction of objects using measured data.