Sygnatura: Pol J Radiol, 2005; 70(3): 64-72 Otrzymano: 2004.10.07 Zaakceptowano: 2005.04.07 Software for 3D diagnostic image reconstruction and analysis Oprogramowanie do rekonstrukcji i analizy 3D obrazów diagnostycznych Grzegorz Tatoń1, Eugeniusz Rokita1, Marek Sierżęga2, Stanisław Kłęk2, Jan Kulig2, Andrzej Urbanik3 1 Zakład Biofizyki Collegium Medicum Uniwersytetu Jagiellońskiego, Kraków, Polska 2 I Katedra Chirurgii Ogólnej i Klinika Chirurgii Gastroenterologicznej Collegium Medicum Uniwersytetu Jagiellońskiego, Kraków, Polska 3 Katedra Radiologii Collegium Medicum Uniwersytetu Jagiellońskiego, Kraków, Polska Adres autora: Grzegorz Tatoń, Zakład Biofizyki CM UJ, ul. Grzegórzecka 16a, 31-531 Kraków, e-mail: uftaton@cyf-kr.edu.pl Summary Background: Recent advances in computer technologies have opened new frontiers in medical diagnostics. Interesting possibilities are the use of three-dimensional (3D) imaging and the combination of images from different modalities. Software prepared in our laboratories devoted to 3D image reconstruction and analysis from computed tomography and ultrasonography is presented. In developing our software it was assumed that it should be applicable in standard medical practice, i.e. it should work effectively with a PC. An additional feature is the possibility of combining 3D images from different modalities. Materials/Methods: The program was tested on a PC using DICOM data from computed tomography and TIFF files obtained from a 3D ultrasound system. The results of the anthropomorphic phantom and patient data were taken into consideration. A new approach was used to achieve spatial correlation of two independently obtained 3D images. The method relies on the use of four pairs of markers within the regions under consideration. The user selects the markers manually and the computer calculates the transformations necessary for coupling the images. Results: The main software feature is the possibility of 3D image reconstruction from a series of two- dimensional (2D) images. The reconstructed 3D image can be: (1) viewed with the most popular methods of 3D image viewing, (2) filtered and processed to improve image quality, (3) analyzed quantitatively (geometrical measurements), and (4) coupled with another, independently acquired 3D image. The reconstructed and processed 3D image can be stored at every stage of image processing. The overall software performance was good considering the relatively low costs of the hardware used and the huge data sets processed. The program can be freely used and tested (source code and program available at http://www.biofizyka.cm-uj.krakow.pl). Improvements allowing the processing of new data types and new procedures can be implemented for specific demands. Conclusions: The reconstruction and data processing can be conducted using a standard PC, so low investment costs result in the introduction of advanced and useful diagnostic possibilities. Key words: 3D imaging*3D image reconstruction^ image analysis*3D image registration PDF file: http://www.polradiol.com/pub/pjr/vol_70/nr_3/6461.pdf 64 Pol J Radiol, 2005; 70(3): 64-72 Software for 3D diagnostic image... Wstęp Dynamiczny rozwój technologii komputerowych, jaki miał miejsce w ciągu ostatnich kilkunastu lat umożliwił wpro- wadzenie obrazowania trójwymiarowego (3D) praktycz- nie we wszystkich metodach diagnostyki obrazowej [1-3]. Zastosowanie obrazu 3D daje nieosiągalne w przypadku obrazów dwuwymiarowych (2D) możliwości jak multipla- narne przeglądanie danych, generowanie dowolnych prze- krojów (również nieortogonalnych i prowadzonych wzdłuż dowolnych niepłaskich powierzchni), rendering wysegmen- towanych tkanek i organów, wirtualną endoskopię i wiele innych [1-8]. Dodatkową przesłanką przemawiającą za użyciem obrazów 3D w diagnostyce jest możliwość łączenia wyników pochodzących z różnych urządzeń diagnostycz- nych w celu uzyskania pełniejszej i trafniejszej diagnozy [9-12]. Technika taka jest możliwa również z zastosowa- niem obrazów dwuwymiarowych [13-15], ale wymaga uzyskania obrazów dokładnie tych samych przekrojów, co w praktyce jest niezmiernie trudne. Nowe metody nie zostały wciąż w pełni zaakceptowane i pozostaje otwartym pytanie o zasadność ich stosowania [1]. Na całym świecie prowadzi się badania nad stosowaniem metod 3D w diagnostyce, a w szczególności nad łączeniem obrazów pochodzących z różnych urządzeń diagnostycznych [9-14]. Najczęściej stosuje się obrazy z tomografii rezonan- su magnetycznego (TRM) i tomografii komputerowej (TK) [15-17]. Raczej rzadko bierze się pod uwagę ultrasonogra- fię 3D (3D USG). Dzieje się tak z kilku względów, przede wszystkim uzyskanie obrazu 3D wymaga informacji o po- zycji rejestrowanych obrazów 2D, a tradycyjna aparatura nie ma takich możliwości. Zwykle rejestrowane obrazy nie są równoległe, co stwarza dodatkowe problemy podczas rekonstrukcji [2,18]. Wreszcie decydującym czynnikiem jest fakt, że w ultrasonografii można uzyskiwać obrazy tylko wybranych tkanek i narządów, co utrudnia dopasowanie i interpretację obrazów. Prowadzone w naszym ośrodku badania mają na celu połączenie KT i 3D USG w diagnostyce wątroby. W praktyce klinicznej najczęściej dysponuje się aparaturą diagnostyczną różnych generacji, pochodzącą od różnych producentów, wykorzystującą różne oprogramowanie oraz techniki zapisu i transferu informacji. Sytuacja taka eli- minuje możliwość integracji systemów [19] i praktycznie niemożliwe jest porównywanie obrazów pochodzących z różnych źródeł. Możliwość wiarygodnej oceny stanu chorego na podstawie różnych metod przyczyniłaby się znacząco do uzyskania jednoznaczności diagnozy [19]. Rozwiązaniem jest zastosowanie uniwersalnego oprogra- mowania operującego danymi pochodzącymi z różnych źródeł. Opracowano oprogramowanie pozwalające na rekonstruk- cję i analizę obrazów 3D pozyskiwanych z dostępnych urządzeń diagnostycznych. Uniwersalność zastosowanych rozwiązań zapewnia użyteczność w wielu dziedzinach związanych z obrazowaniem 3D. W niniejszej pracy opisa- no program i przykłady jego zastosowań. Program jest ogól- nie dostępny do stosowania. Z łatwością można go dosto- sować do pracy z dowolnymi danymi 3D, może też zostać wyposażony w dodatkowe procedury obróbki obrazów. Materiał i metoda Rekonstrukcję i analizę 3D obrazów program wykonuje realizując następujące etapy: (1) import danych w formie serii obrazów 2D, (2) rekonstrukcja obrazu 3D, (3) kore- lowanie przestrzenne dwóch obrazów 3D, (4) filtrowanie obrazu, (5) analiza ilościowa, (6) archiwizacja. Kolejne kroki nie muszą być wykonywane sekwencyjnie, a licz- ba i kolejność wykonanych etapów zależy od potrzeb użytkownika. Zaimplementowano możliwość importowania danych trzech typów: (1) obrazy DICOM [19] pochodzące z dowol- nego urządzenia diagnostycznego posługującego się tym formatem, (2) obrazy TIFF pochodzące z USG wykorzysty- wanego w badaniach, (3) obrazy BMP. Obrazy DICOM mogą być importowane w oryginalnej formie, ponieważ standard ten w przeciwieństwie do pozostałych formatów posiada możliwość zapisu informacji o pozycji kolejnych warstw. W przypadku formatu TIFF [20] standard dopuszcza dodanie informacji dowolnego typu w nagłówku obrazu. Własność tę wykorzystano do zapisu informacji pozycyjnej. W przypadku plików BMP jedyną możliwością jest wyko- rzystanie nazwy kolejnych plików do kodowania informa- cji o pozycji. W tym przypadku niezbędna jest znajomość protokołu akwizycji danych. Kolejnym krokiem po zaimportowaniu danych jest rekon- strukcja obrazu 3D. W pierwszej kolejności wszystkie zaimportowane pliki 2D są przeglądane w celu ustale- nia rozmiarów przestrzeni reprezentującej obraz 3D. Ustalanie rozmiarów siatki 3D odbywa się z uwzględ- nieniem informacji o położeniu każdego obrazu 2D. Następnie dla każdego punktu rekonstruowanej przestrze- ni (voksela) oblicza się jego wartość. W przypadku obra- zów DICOM i niektórych rodzajów TIFFów przestrzeń 3D wypełniana jest warstwa po warstwie wzdłuż osi prostopadłej do powierzchni obrazu kolejnymi obraza- mi 2D, gdyż stanowią one kolejne równoległe warstwy (ryc. 1a). Inną metodę stosuje się w przypadku obrazów TIFF zarejestrowanych bezpośrednio podczas badania 3D USG i obrazów BMP, gdzie orientacja obrazu 2D może być dowolna. Analizując położenie każdego punktu obrazu 2D i biorąc pod uwagę orientację i położenie samego obra- zu oblicza się pozycję w przestrzeni 3D odpowiadającą danemu punktowi. Metodą tą zapełnia się jedynie cześć rekonstruowanej przestrzeni i zwykle ustalenie wartości wszystkich vokseli wymaga zastosowania dodatko- wych kroków [18,21] (ryc. 1b). Pojawia się tutaj problem związany z tzw. oversamplingiem obszarów, gdzie przeci- na się kilka obrazowanych warstw, oraz tzw. undersam- plingiem w obszarach, które zostały pominięte podczas skanowania. Konieczne staje się średniowanie wartości stopni szarości pochodzących z kilku obrazów w miej- scach, gdzie gęstość informacji jest duża, oraz interpola- cja w obszarach małej gęstości. Prowadzi to do trudnej do przewidzenia i opisu fluktuacji zdolności rozdzielczej obrazu 3D w rekonstruowanej przestrzeni. Proponowany sposób rekonstrukcji nie rozwiązuje tego problemu. Powinien on być wyeliminowany na etapie akwizycji serii obrazów 2D, a w programie może być jedynie mini- malizowany poprzez zastosowanie nieliniowych filtrów zasięgowych takich jak na przykład mediana [22]. 65 Original Article Pol J Radiol, 2005; 70(3): 64-72 Figure 1. The method of 3D reconstruction from a series of 2D images. (a) Reconstruction from a parallel series of 2D images, (b) Reconstruction form a non-parallel series of images. There is some interpolation necessary in (b) to fill all the voxels in the 3D cube. Rycina 1. Sposoby przeprowadzania rekonstrukcji obrazu 3D na podstawie serii obrazów 2D. (a) rekonstrukcja z serii równoległych obrazów 2D, (b) rekonstrukcja z serii nierównolegtych obrazów 2D. Wypełnienie całej siatki 3D w przypadku (b) wymaga zastosowania interpolacji. Dwa obrazy 3D zarejestrowane przy pomocy różnych urzą- dzeń i w różnych warunkach zwykle są inaczej zorientowane w przestrzeni, posiadają inne skale i są w stosunku do siebie zdeformowane. Aby możliwe było przestrzenne skorelowanie dwóch obrazów 3D, jeden z nich powinien być potraktowany jako obraz wzorcowy, a drugi powinien być w odpowiedni sposób przetransformowany [13-17]. Obroty, przesunięcia lub skalowanie względem wybranej osi układu współrzędnych będą określane jako „transformacje proste”. W programie możliwe są dwie techniki przestrzennego kore- lowania obrazów 3D. Pierwszą jest ich ręczne dopasowanie. Użytkownik sam dobiera kolejność i rodzaj transformacji pros- tych. Dwa obrazy przeglądane równocześnie w jednym oknie dialogowym mogą być niezależnie i w dowolny sposób obra- cane, przesuwane i skalowane. Nałożone obrazy obserwowa- ne są we wspólnym oknie i na bieżąco można śledzić efekt nakładania. Druga możliwość jest prostsza i polega na wybo- rze na obydwu obrazach czterech odpowiadających sobie par punktów. Komputer określa transformację, która gwarantu- je idealne pokrycie wskazanych par punktów. Jako markery mogą być zastosowane dowolne, charakterystyczne punkty (np. pewne cechy anatomiczne, albo patologiczne). Podczas przestrzennego korelowania dwóch obrazów i po ich nałożeniu obrazy przenikają się (ryc. 2), w efekcie powstaje zupełnie nowy obraz, dla którego wartości poszczególnych vokseli muszą zostać wyznaczone [13]. Przenikanie zrea- lizowano przez zastosowanie tzw. współczynnika przezro- czystości. Punkt obrazu docelowego powstaje w wyniku nałożenia na siebie dwóch vokseli, jednego pochodzącego z obrazu A i drugiego pochodzącego z obrazu B, jego war- tość oblicza się następująco: Gw = GaT = Gb(1-T) (i) gdzie G oznacza stosownie do indeksu odcień szarości obra- zu wynikowego (W) i obrazów składowych (A, B). T ozna- cza współczynnik przezroczystości przyjmujący wartości z przedziału [0,1]. Zwykle wartość współczynnika T wybiera się jako 0.5, co gwarantuje pięćdziesięcioprocentowy udział każdego obrazu składowego w obrazie docelowym. W programie zastosowano procedury i filtry stosowane w przetwarzaniu obrazów (np. filtry minimum, maksimum i mediana). Rozwiązania znane z obrazowania 2D zostały zaadoptowane do trzech wymiarów [22], aby uwzględnić specyfikę przestrzeni 3D. Zmiana kontrastu i jasności obra- zu odbywa się poprzez wybór wyświetlanego zakresu skali szarości. Stosowana jest ośmio- lub szesnastobitowa skala szarości w zależności od źródła, z którego pochodzi obraz. Zakres wyświetlanych stopni szarości skalowany jest na pełne dostępne zakresy (odpowiednio 256, lub 65536 odcie- ni). Dodatkową możliwość stanowi wybór zakresu stopni szarości, które mają zostać usunięte podczas wyświetlania obrazu w programie (ryc. 3, 4). Istnieje również możliwość kadrowania zrekonstruowanej przestrzeni we wszystkich trzech kierunkach w celu ograniczenia rekonstruowanej przestrzeni do interesującego obszaru. Pozwala to niejed- nokrotnie znacząco zredukować rozmiary pliku dyskowego z obrazem 3D. Pomiary ilościowe zaimplementowane w programie pole- gają na pomiarach geometrycznych i pomiarach średniego odcienia szarości wskazanego obszaru. Istnieje możliwość pomiaru odległości, obwodów i pól powierzchni obszarów 0 dowolnym kształcie na dowolnie wybranej i zorientowa- nej płaszczyźnie przekroju. To z kolei umożliwia obliczanie bardziej wyszukanych parametrów kształtu jak na przykład stosunek obwodu do powierzchni. Możliwy jest również pomiar objętości dowolnej bryły. Wyniki mogą być groma- dzone w formie tabel, a następnie zapisywane do plików tekstowych. Obraz 3D może być na dowolnym etapie przetwarzania zapisany na dysku komputera. Może to być bezpośredni rezultat rekonstrukcji, obraz po zastosowaniu filtrów jak 1 obraz będący wynikiem składania dwóch obrazów 3D. 66 Pol J Radiol, 2005; 70(3): 64-72 Software for 3D diagnostic image... Figure 2. The 3D images of the phantom used in software tests: computed tomography image (a), 3D ultrasonography image (b), and the effect of coupling both (c). One of the methods used for 3D image visualization is presented. Rycina 2. Obrazy 3D fragmentu fantomu stosowanego w testach: (a) obraz z tomografii komputerowej, (b) obraz z ultrasonografii 3D i (c) połączenie obrazów z tomografii komputerowej i ultrasonografii. Na rysunkach zaprezentowano jedną z możliwości wizualizacji danych 3D zastosowanych w programie. Zastosowano specyficzny format stworzony na potrzeby programu i zoptymalizowany pod kątem zapisu obrazu 3D. Było to jedyne możliwe rozwiązanie biorąc pod uwagę, że w chwili obecnej nie istnieje ogólnie przyjęty format zapi- su plików 3D. Zaproponowany sposób zapisu plików bazuje na idei zastosowanej w formatach DICOM i TIFF [19,20], w których każda odrębna informacja o obrazie zapisywa- na jest w niezależnym fragmencie pliku w ściśle określony sposób. Istnieje ponadto możliwość eksportowania obrazu 3D w formie serii plików dowolnego typu (np. BMP), ale informacja o położeniu poszczególnych warstw w prze- strzeni nie jest wtedy zachowywana. Prezentowane oprogramowanie zostało stworzone i przetesto- wane z użyciem stacji graficznej DELL Precision Workstation 530MT wyposażonej w dwa procesory INTEL Xeon 2.8 GHz i 1 GB pamięci RAM. Zastosowano kartę graficzną NVIDIA Quadro4 900XGL (128 MB). Zastosowany komputer nie odbie- ga mocą obliczeniową i możliwościami od typowych kompu- terów dostępnych obecnie na rynku. Stacja graficzna praco- wała w systemie operacyjnym Microsoft Windows XP Pro. Oprogramowanie zostało stworzone w oparciu o system RAD Builder C+ + 6.0 Pro firmy Borland. Testy przeprowadzono w oparciu o wyniki badań antropo- morficznego fantomu firmy CIRS (Computerized Imaging Reference Systems Inc. - Model 057) [23] pochodzące z TK i z 3D USG. Wykorzystano również przykładowe wyniki badań pacjentów uzyskane w trakcie standardowych pro- cedur diagnostycznych. Wyniki badań TK uzyskano przy pomocy wielorzędowego, spiralnego tomografu Siemens Somatom Sensation 10 w formie obrazów dwuwymiaro- wych (2D) zapisanych jako DICOM. W badaniach 3D USG wykorzystano aparat Hitachi EUB-525 zaadoptowany do pomiarów 3D przy pomocy systemu firmy Echotech 3D Imaging Systems GmbH. Dane z 3D USG miały formę serii obrazów w formacie TIFF. Dyskusja____________________________________________ W projekcie stosowano tomograf komputerowy firmy Siemens, zastosowanie danych pochodzących od innych producentów z dowolnych urządzeń obrazujących jest możliwe, ale wymaga drobnych zmian w procedurach importu danych 2D. Wynika to różnic w implementacjach standardu DICOM przyjętych przez różnych producentów. Na uwagę zasługuje drugi testowany format zapisu obra- zów, jakim jest TIFF Jest to ogólnie znany i stosowany spo- sób zapisu obrazów w grafice komputerowej. Niewątpliwą jego zaletą jest zaimplementowana w standardzie możliwość dodefiniowania dodatkowych informacji w nagłówku obra- zu. Możliwość tę zastosowano w wykorzystywanym w pro- jekcie systemie 3D USG do kodowania informacji o położeniu rejestrowanych obrazów 2D. Zestaw obsługiwanych w tej chwili formatów zapisu plików może zostać z łatwością rozszerzony stosownie do potrzeb użytkownika. Obrazy 2D służące do rekonstrukcji obrazu 3D mogą być zapisane w sposób dowolny, musi być jednak spełniony jeden warunek: w protokole akwizycji danych lub w plikach reprezentujących obraz musi być określona pozycja poszczególnych obrazów 2D. Podstawowym problemem w jednoczesnym stosowaniu w diagnostyce dwóch niezależnie rejestrowanych obrazów 3D (np. pochodzących z różnych urządzeń diagnostycznych jest konieczność uzyskania korelacji przestrzennej pomiędzy nimi. Problem ten jest wyjątkowo trudny w przypadku badania jamy brzusznej. Istotny wpływ mają naturalne ruchy, zmiany objętości i kształtu obserwowanych narządów. Brakuje dobrze zdefiniowanych punktów, powierzchni i obiektów, które były by pomocne w procesie korelowania obrazów. Próba łączenia obrazów USG z obrazami innego typu napotyka na dodat- kowe trudności. Problemem są zmiany objętości i kształtu badanych obszarów powodowane uciskiem sondy [24-26] jak również niemożność wykorzystania powierzchni kości w do- pasowywaniu obrazów. Jedyną możliwością jest wykorzy- stanie markerów związanych z tkanką miękką. Z tego powo- du w programie zastosowano metodę półautomatycznego składania obrazów opartą o cztery pary markerów. Metoda wymaga jedynie wskazania czterech wspólnych punktów charakterystycznych w dwóch odpowiadających sobie obra- zach i ma niewielkie wymagania pod względem mocy obli- czeniowej w porównaniu z bardziej zaawansowanymi meto- dami opisywanymi w literaturze [13-17,28,29]. 67 Original Article Pol J Radiol, 2005; 70(3): 64-72 Figure 3. The gray-scale threshold application for the 3D rendering of chosen tissues. The 3D image of a human vertebra reconstructed and rendered on the basis of computed tomography without any threshold (a) and with a defined threshold (b). Rycina 3. Przykład zastosowania progu wyświetlanych na obrazie skali szarości do renderingu wybranych tkanek. Na rysunku pokazano krąg ludzki zre- konstruowany na podstawie badania tomografią komputerową. Obraz obszaru 3D bez zastosowania progu (a) i po zastosowaniu progu (b). Figure 4. The gray-scale threshold and median filter applied for the 3D rendering of selected tissues. The 3D tomographic image of the liver with focal liver steatosis. The effect of direct reconstruction from the 2D image series (a) and after threshold application (b and c). In (c) a median filter was additionally applied for image quality improvement. It is easier to recognize and localize smaller steatosis regions (arrows) after median filter. The largest steatosis is easily visible on both images (b and c) (double arrow). Rycina 4. Przykład zastosowania progu do renderingu wybranych tkanek i filtru mediana. Obraz tomograficzny jamy brzusznej pacjenta ze stwierdzonym stłuszczeniem w wątrobie. Na rysunku pokazano obraz 3D bezpośrednio po rekonstrukcji z serii obrazów tomografii komputerowej (a) i po zastosowaniu progu (b) i (c). W przypadku obrazu (c) dodatkowo zastosowano filtr mediana, co spowodowało, że obraz jest znacznie bardziej czytelny i ujawniło dodatkowe szczegóły. Na rysunku (c) znacznie łatwiej zlokalizować i rozpoznać widoczne w wątrobie niewielkie stłuszczenia (strzałki), których obecność na obrazie (b) jest wątpliwa. Największy obszar sttuszczenia jest widoczny na obydwu obrazach (podwójna strzałka). 68 Pol J Radiol, 2005; 70(3): 64-72 Software for 3D diagnostic image... Figure 5. Multiplanar 3D image viewing in three orthogonal planes (a and e). The results of computed tomography (a, b, c, d) and ultrasonography (e, f, g, h) examinations of a patient with focal liver steatosis. Rycina 5. Multiplanarne przeglądanie obrazu w trzech płaszczyznach ortogonalnych renderowanych w przestrzeni 3D. Wyniki badań TK (a, b, c, d) i 3D USG (e, f, g, h) pacjenta ze stwierdzonymi zmianami w wątrobie. Z powodów wspomnianych wcześniej transformacja prowadząca do dopasowania dwóch obrazów, zwłaszcza, gdy jednym z nich jest obraz USG, musi uwzględniać moż- liwość zmiany kształtu i objętości (tzw. non-rigid trans- formations) [13,28,29]. Zastosowana metoda spełnia ten warunek. Dowolność wyboru kolejności prostych transformacji składowych zapewnia uzyskanie liniowe- go zniekształcenia przestrzeni, które może prowadzić do zmiany objętości jednego z dopasowywanych obrazów. Można w ten sposób niwelować błędy związane z oddy- chaniem, ruchami pacjenta podczas jednego z badań, lub efektem zniekształcenia tkanek pod wpływem nacisku sondy podczas badania USG. Ręczne nakładanie obrazów wymaga od operatora bardzo dobrej wyobraźni przestrzennej i znajomości anatomii; jest trudne, ponieważ efekt końcowy zależy od kolejności i doboru parametrów kilku, albo nawet kilkunastu transfor- macji prostych, z tego powodu zastosowanie półautoma- tycznej metody przynosi znacznie lepsze efekty. 69 Original Article Pol J Radiol, 2005; 70(3): 64-72 Figure 6. Part of the dialog window used in the program for measurements. The distances in centimeters (D) as well as areas (cm2) and circumferences (cm) of closed curves (P) can be stored in the list below the image. Rycina 6. Fragment okna dialogowego służącego do pomiarów. Mierzone na obrazie długości odcinków w cm (D), jak również pola powierzchni (cm2) i obwody konturów zamkniętych (cm) (P) zapisywane są w tabeli pod obrazem. Wybór markerów powinien być dokonany w taki sposób, aby najistotniejszy fragment obrazu znalazł się w prze- strzeni otoczonej markerami. Wynika to z faktu, ze dopa- sowanie jest idealne w pobliżu markerów, natomiast cała pozostała przestrzeń ulega deformacji. Im dalej od wska- zanych punktów, tym bardziej znacząca jest deformacja przestrzeni. Poza rekonstrukcją obrazów 3D najważniejszą możliwością jest przeglądanie zrekonstruowanej przestrzeni. Istnieją dwa sposoby: rendering powierzchniowy wybranego prosto- padłościennego obszaru (ryc. 2-5), oraz multiplanarne prze- glądanie danych w trzech ortogonalnych płaszczyznach. Podczas wykonywania pomiarów i przestrzennego korelo- wania dwóch obrazów możliwe jest uzyskanie dowolnego przekroju przez badany obiekt. Zastosowane metody nie są zbyt wymagające pod względem możliwości zastosowanego komputera. Jedynie w przypadku określania zakresu stopni szarości usuwanego z obrazu 3D (ryc. 3, 4) np. w celu seg- mentacji pewnych obszarów, konieczne jest uwzględnienie wszystkich punktów wchodzących w skład obrazu 3D, co może doprowadzić do znaczącego spowolnienia w przypad- ku słabszych komputerów. Dodatkowymi możliwościami zaimplementowanymi w pro- gramie są procedury i filtry stosowane w przetwarzaniu obrazów (np. filtry minimum, maksimum i mediana). Przy- kład zastosowania filtra mediana pokazano na ryc. 4. Zasto- sowanie filtrów może się okazać pomocne po rekonstrukcji obrazu z nierównoległych obrazów 2D jak w przypadku badania 3D USG w celu wyrównania gęstości informacji na obrazie będącej efektem over- albo undersamplingu. Zastosowanie choćby najprostszych filtrów pozwala na redukcję szumu w obrazach o niskiej jakości. Przykład pomiaru ilościowego w programie pokazano na ryc. 6. Zastosowana metoda gromadzenia wyników pomiarów w formie tabel z możliwością eksportu ich zawartości do plików tekstowych jest szczególnie przy- datna w przypadkach konieczności zastosowania sta- tystycznej obróbki uzyskanych wyników. Pomiary pól powierzchni i obwodów zamkniętych krzywych oraz objętości brył 3D nie są ograniczone do podstawowych kształtów jak to ma często miejsce w przypadku nie- których urządzeń diagnostycznych. Można zdefiniować dowolny kształt zakreślając go kursorem myszy na ekra- nie. Zdefiniowana krzywa i bryła może być w dowolny sposób modyfikowana. Table 1. The results of distance measurements done on the basis of three-dimensional ultrasound (3D US) compared with the results of computed tomography (gold standard). Some pathological structures in the liver were measured. The precision of 3D US measurements can be estimated as about 20%. Tabela 1. Porównanie wyników pomiarów długości wybranych struktur patologicznych na trójwymiarowych obrazach ultrasonograficznych (3D USG) wątroby z wynikami tomografii komputerowej (TK). Błąd pomiaru w 3D USG należy oszacować na poziomie 20% w stosunku do złotego standardu, jakim jest TK. TK / CT 3D USG / 3D US Wynik Błąd Wynik Błąd Błąd wzgl. Result [cm] Error [cm] Result [cm] Error [cm] Relative error [%] 1 3,7 0,2 4,2 0,1 13 2 2,6 0,1 3,1 0,2 21 3 13,0 0,4 12,8 0,9 1 4 3,0 0,1 3,6 0,2 20 5 3,0 0,1 3,0 0,1 1 6 2,2 0,1 1,7 0,1 21 7 8,2 0,3 6,6 0,1 20 8 2,3 0,0 2,3 0,1 1 70 Pol J Radiol, 2005; 70(3): 64-72 Software for 3D diagnostic image... Prezentowane oprogramowanie posłużyło do określenia precyzji pomiarów odległości w 3D USG w stosunku do złotego standardu, jakim jest TK w przypadku diagnostyki wątroby. Wyniki przedstawiono w tabeli 1. Inaczej niż ma to miejsce w przypadku grafiki 2D nie istnieją obecnie standardy zapisu obrazów 3D. Nawet standard DICOM, który jest rozwiązaniem nowoczesnym nie przewiduje możliwości zapisu obrazów 3D w innej formie niż sekwencja obrazów 2D. Problem ten zdecydo- wanie utrudnia rozwój metod opartych o obrazowanie 3D. Uniemożliwia efektywną wymianę informacji i porówny- wanie obrazów 3D pochodzących z różnych źródeł. Należy podkreślić, że rozwiązanie bazujące na zapisie obrazu 3D w formie serii obrazów 2D nie jest rozwiązaniem optymal- nym, gdyż nie uwzględnia specyfiki tego typu obrazów, np. ich ogromnych rozmiarów. Zastosowanie odpowiednie- go formatu i optymalnego algorytmu kompresji powinno doprowadzić choćby do znaczącego zmniejszenia rozmia- rów obrazów zapisywanych w plikach. Do zapisu rekonstruowanego obrazu 3D wykorzystano własny standard. Dzięki jego zastosowaniu otwieranie pliku z obrazem jest dwukrotnie szybsze niż to ma miejsce przy- padku odczytywania obrazów zapisanych w formie serii obrazów 2D. Kolejną korzyścią jest zmniejszenie rozmiarów plików poprzez zastosowanie kompresji uwzględniającej specyfikę obrazu 3D. W efekcie nałożenia geometrycznego obrazów powsta- je nowy obraz, którego wartości vokseli obliczane są na podstawie vokseli obydwu obrazów składowych. Zastoso- wana metoda z wykorzystaniem współczynnika przezro- czystości T (wzór (1)) nie wnosi niczego nowego i nie pozwa- la na pozyskanie nowych informacji z połączonego obrazu poza uzyskaniem przenikania się obrazów podczas ich prze- glądania w programie. Konieczne jest zastosowanie bardziej zaawansowanej metody łączenia vokseli. Powstawanie obra- zów różnego typu wiąże się z różnymi oddziaływaniami fizycznymi i własności fizyczne badanych tkanek powinny znaleźć odzwierciedlenie we wzorze (1). Trwają prace nad określeniem praktycznych zastosowań proponowanych rozwiązań i potwierdzeniem ich użytecz- ności. Stosowane obecnie techniki obrazowania naczyń w TK ograniczają się jedynie do obrazowania ich przebiegu. Połączenie USG Dopplerowskiego z obrazami pochodzącymi z TK pozwoli na ocenę kierunku, prędkości i charakteru przepływu na tle wysokiej jakości obrazów TK. Potencjalne zastosowania wiążą się również z wykonywaniem zabie- gów BAC (biopsja aspiracyjna cienkoigłowa). Zamiast prze- prowadzać je pod kontrolą TK, można będzie wykorzystać USG. Rejestrowany obraz rzeczywisty USG można powiązać relacjami geometrycznymi ze statycznym obrazem 3D TK stosując proponowane metody. Odniesienie pozycji igły bio- psyjnej obserwowanej na rzeczywistym obrazie USG do sta- tycznego obrazu 3D TK zwiększy precyzję zabiegu. Kolejną możliwością jest łącznie obrazów USG Power Doppler z ob- razami TK do określania na tle obrazów TK przepływów tkankowych w celu oceny skuteczności termoabalacji lub embolizacji zmian w wątrobie. Oczywistym zastosowaniem proponowanej metody jest sytuacja, w której obrazowane zmiany są słabo widoczne na obrazach pochodzących w któ- rejkolwiek technik obrazowych. Oprogramowanie działa efektywnie na komputerze klasy PC. W tabeli 2 przedstawiono przykładowe czasy wykony- wania podstawowych procesów z zastosowaniem opisanego wcześniej komputera. Moc obliczeniowa dostępnych obecnie na rynku komputerów klasy PC jest wystarczająca do instalacji i swobodnego zastosowania prezentowanego oprogramowania. Otrzymane podczas testów czasy potrzebne do wykonania pod- stawowych operacji na obrazach są satysfakcjonujące biorąc pod uwagę duże rozmiary stosowanych w praktyce obrazów (10-50 MB w przypadku TK i 5-10 MB w przypadku USG). Dalszy wzrost wydajności oprogramowania można osiągnąć poprzez optymalizację uwzględniającą wieloprocesorowość zastosowanego systemu. Przykłady obrazów stosowanych w testach pokazano na ryc. 2-6. Wnioski Stworzono oprogramowanie pozwalające na rekonstruk- cję obrazów 3D z serii obrazów 2D. Program pozwala na przeglądanie zrekonstruowanej przestrzeni na kilka spo- sobów (trzy płaszczyzny ortogonalne, prostopadłościenny fragment, dowolny nieortogonalny przekrój). Dodatkową możliwość stanowi łączenie dwóch obrazów 3D. Oprogramo- wanie w wersji skompilowanej oraz pliki źródłowe mogą być swobodnie stosowane i modyfikowane. Table 2. Time consumption expressed in seconds for selected procedures used in the presented software for 3D reconstruction, analysis, and fusion. The 3D image used in the test was reconstructed from the DICOM image series and was 512x512x90 pixels large (23.6x106 pixels, file size: 46 MB). Tabela 2. Czas wyrażony w sekundach potrzebny do wykonania wybranych procedur zastosowanych w programie stworzonym do rekonstrukcji, przetwarzania i łączenia obrazów 3D. Do testów wykorzystano obraz o rozmiarach 5 1 2 x 51 2 x 90 (23.6x106 punktów, plik o rozmiarach 46 MB) pozyskiwany z serii obrazów DICOM. Procedura / Procedure Czas / Time [s] Rekonstrukcja obrazu 3D z serii obrazów DICOM / The reconstruction of the 3D image from the DICOM image series 7.0 Zastosowanie filtra maksimum / Maximum filter 5.5 Zapis obrazu 3D / 3D image saving 2.1 Otwarcie obrazu 3D / 3D image opening 4.2 Obliczenie transformacji pomiędzy dwoma obrazami / Calculations of the transfromation needed for two images coupling <0.1 71 Original Article Pol J Radiol, 2005; 70(3): 64-72 Stworzone oprogramowanie jest wystarczająco wydajne z wykorzystaniem ogólnie dostępnych i tanich kompute- rów klasy PC. Równocześnie uniwersalność proponowa- nych rozwiązań pozwala na wykorzystanie go w różnych dziedzinach obrazowania 3D. Ze względu na różnorodność spotykanych rozwiązań, jeśli chodzi o standardy zapisu obrazów może się okazać konieczna modyfikacja procedur importu danych. Zdefiniowanie i wprowadzenie ogólnie dostępnego standardu zapisu i przesyłania obrazów 3D wyeliminowałoby w/w problem, a ponadto przyczyniłoby się do szybszego rozwoju i wdrażania metod opartych o obrazowanie 3D. Korelacja przestrzenna obrazów oparta o cztery pary punk- tów charakterystycznych jest szybka i dokładna. Opiera się na zastosowaniu transformacji liniowych. Odpowiada to rzeczywistym przypadkom, w których najczęściej obrazy pochodzące z różnych źródeł i wykonane w różnych warun- kach są w stosunku do siebie zdeformowane. Piśmiennictwo: 1. Rogala P, Terwisscha van Scheltinga, Hamm (Eds.); with contri- butions by Aschoff AJ et.al. Virtual Endoskopy and Related 3D Techniques, Sprinter, Berlin 2002. 2. Nelson TR, Downey DB, Pretorius DH, Fenster A, Three-Dimensional Ultrasound, Lippincott Williams & Wilkins, Philadelphia 1999. 3. Claudon M, Tranquart F Evans DH, Lefevre F Correas JM, Advances in Ultrasound, Eur Radiol, 2002, 12: 7-18. 4. Maher MM, Kalra MK, Sahani DV, Perumpillichira JJ, Pizzo S, Saini S, Mueller PR, Techniques, Clinical Applications and Limitations of 3D Reconstruction in CT of the Abdomen, Korean J Radiol, 2004, 5: 55-67. 5. Volkmer BG, Nesslauer T, Kufer R, Engels O, Kraemer SC, Gottfried HW, Visualization of Urinary Stones by 3-D Ultrasound With Surface Rendering, Ultrasound Med Biol, 2002, 28: 143-7. 6. Skuma I, Tanaka Y, Takai Y, Kobayashi E, Dohi T, Schorr O, Hata N, Iseki H, Muragaki Y, Hori T, Kintomo T, Three-Dimensional Ultrasound Imaging System for Surgical Navigation, Int Congress Series, 2001, 1230: 117-22. 7. Hunerbein M, Raschke M, Khodadadyan C, Hohenberger P, Haas NP, Schlag PM, Three-Dimensional Ultrasonography of Bone and Soft Tissue Lesions, Eur J Ultrasound, 2001, 13: 17-23. 8. Kim HC, Park SH, Shin HC, Park SJ, Kim HH, Kim YT, Bae WK, Kim IY, Three-Dimensional Reconstructed Images Using Multidetector Computed Tomography in Evaluation of the biliary tract: an Illustrative Review, Abdom Imaging, 2004, 29: 472-8. 9. Slomka PJ, Mandel J, Downey D, Fenster A, Evaluation of Voxel- BasedRegistration of 3-D Power Doppler Ultrasound and 3-D Magnetic Resonance Angiographic Images of Carotid Arteries, Ultrasound Med. Biol, 2001, 27: 945-55. 10. Pflunger T, Vollmar Ch, Wismuller A, Dresel S, Berger F, Suntheim P, Leinsinger G, Hahn K, Quantitative Comparision of Automatic and Interactive Methods for MRI-SPECT Image Registration of the Brain Based on 3-Dimensional Calculation of Error, J Nucl Med, 2000, 41: 1823-9. 11. Penney GP, Blackall JM, Hamady MS, Sabharwal T, Adam A, Hawkes DJ, Registration of Frehand 3D Ultrasound and Magnetic Resonance Liver Images, Med Image Analysis, 2004, 8: 81-91. 12. Taylor LS, Porter BC, Nadasdy G, Di Sant'Agnese PA, Pasternak D, Wu Z, Baggs R, Rubens DJ, Parker KJ, Three-Dimensional Registration of Prostate Images from Histology and Ultrasound, Ultrasound Med Biol, 2004, 30: 161-168. 13. Zitova B, Flusser J, Image Registration Methods: Survey, Image and Vision Computing, 2003, 21: 977-1000. Praktyczne zastosowania proponowanych rozwiązań nie zostały jeszcze w pełni określone. Potencjalne, nowe możli- wości diagnostyczne wiążą się z zastosowaniem bardziej zaawansowanej metody łączenia punktów poszczegól- nych obrazów. Uwzględnienie podczas łączenia podstaw fizycznych związanych z powstawaniem obrazu USG i TK pozwoli wnioskować o dodatkowych parametrach fizycz- nych badanych tkanek. Należy podkreślić, że stosowanie obrazowania 3D wymu- sza zastosowanie nowoczesnych nośników do archiwizacji i transferu danych, takich jak napędy CD, DVD, macierze dyskowe i sieć komputerowa. Wynika to z ogromnych ilości informacji zapisywanych podczas badania. Na jedno bada- nie 3D USG składa się z kilka obrazów 3D, co może stano- wić do 50MB informagi. W przypadku TK w przykładowym wielofazowym badaniu jamy brzusznej z kontrastem zapi- suje się od trzech, do ośmiu sekwencji obrazów, co może zajmować nawet do 400MB. 14. Kollmann Ch, Greiffenberg B, Schlachetzki F, Bogdan U, Bergmann H, 2-Dimensional Fusion of Cerebral Cross-Modality Images Employing a Mutual Information Algorithm, Physica Media, 2001, 27: 267-70. 15. Maintz JBA, van den Elsen, Viergever MA, 3D Multimodality Medical Image Registration Using Morphological Tools, Image and Vision Computing, 2001, 19: 53-62. 16. Hsu LY, Loew MH, Fully Automatic 3D Feature-Based Registration of Multi-Modality Medical Images, Image and Vision Computing, 2001, 19: 75-85. 17. Ding L, Goshtasby A, Satter M, Volume Image Registration by Template Matching, Image and Vision Computing, 2001: 19: 821-32. 18. Jose-Estepar RS, Martin-Fernandez M, Caballero-MArtinez PP, Alberola-Lopez C, Ruiz-Alzola J, A Theoretical Framework to Three- Dimensional Ultrasound Reconstruction from Irregularly Sampled Data, Iltrasound Med Biol, 2003: 255-69. 19. Mildenberger P, Eichelberg M, Martin E, Introduction to the DICOM standard, Eur Radiol, 2002, 12: 920-7. 20. http://partners.adobe.com/asn/developer/pdfs/tn/TIFF6.pdf 21. Sanches JM, Marques JS, A Multiscale Algorithm for Three-Dimensio- nal Free-Hand Ultrasound, Ultrasound Med Biol, 2002, 28: 1029-40. 22. Nikolaidis N, Pitas I, 3-D Image Processing Algorithms, Jon Wiley & Sons, Inc. New Yourk 2001. 23. http://www.cirsinc.com/catalog/2003cat.pdf, 124 24. Treece GM, Prager RW, Gee AH, Berman LH, Correction of Probe Pressure Artifacts in Freehand 3D Ultrasound, w Niellsen W, Viergever M (Eds.), MICCAI 2001, LNCS 2208, Springer-Verlag Berlin 2001: 283-90. 25. Treece GM, Gee AH, Prager RW, Cash CJC, Berman LH, High-Definition Freehand 3-D Ultrasound, Ultrasound Med Biol, 2003, 29: 529^6. 26. Prager RW, Gee AH, Treece GM, Berman LH, Freehand 3D Ultrasound Without Voxels: Volume Measurement and Visualisation Using Stradx System, Ultrasonics, 2002, 40: 109-15. 27. Fitzgibbon AW, Robust registration of 2D and 3D point sets, Image and Vision Computing, 2003, 21: 1145-53. 28. Srikanchana R, Xuan J, Freedman MT, Nguyen CC, Wang Y, Non-Rigid Image Registration by Neural Computation, J VLSI Signal Processing, 2004, 37: 237^6. 29. Fischer B, Modersitki J, Curvature Based Image Registration, J Math Imaging and Vision, 2003, 18: 81-85. 30. Huber D, Hebert M, Fully Automatic Registration of Multiple 3D Data Sets, Image and Vision Computing, 2003, 21: 37-50. 31. Hermosillo G, Chefd'Hotel Ch, Faugeras O, Int J Computer Vision, 2002, 50: 329-43. 72