Pemeriksaan Data Hirarki pada Penelitian Militer - Irina Goldenberg dan Joseph Soeters

BAB 18 - ANALISIS MULTILEVEL
(Terjemahan dari Ezha Kurnia)

Spt kebanyakan organisasi militer yg terdiri dari tingkatan hirarki. Dimulai dari tingkatan bawah, organisasi terdiri dari prajurit perorangan, tim/regu, pleton, kompi, batalion, brigade, dan divisi. Level satu menginduk ke yang lainnya, bersama membentuk organisasi militer.
Kebanyakan penelitian organisasi, termasuk penelitian militer berfokus pada apa yg terjadi antara sampel pekerja yang termasuk unit organisasipd level yg sama, pd kasus ini diterjemahkan menjadi prajurit yg merupakan bagian regu atau pleton. Hubungan horizontal atau penelitian unit-dalam, mengabaikan pengaruh kelakuan seseorang yg berakar dr lainnya – ‘pimpinan’ – level organisasi. Untuk mendapatkan pengertian mengenai apa yg terjadi dlm organisasi yg kompleks dibutuhkan studi hubungan cross-level sbg tambahan pengaruh level-dalam.
Studi yg dilakukan Schaubroeck dan asosiasi menguji dampak kepemimpinan yg beretika dan berbudaya dalam tentara US, pada level regu, pleton, dan kompi, pada kepemimpinan yg beretika para prajurit dari level regu, pleton, dan kompi. Dasar teori dan praktek, mengasumsikan kepemimpinan yg beretika dan berbudaya tdk hanya berpengaruh dlm tingkat hirarki yg sama, tp jg lintas menuju ke bawah atau efek memotong, tdk secara langsung kepemimpinan atas ke bawahyg beretika dan berbudaya atau melalui hubungan level-dalam.
Kelakuan prajurit yg beretika diukur via frekuensi penerimaan pelanggaran hukum melawan non-kombatan (misal penganiayaan oleh penonton atau penyebab kerusakan yg tdk perlu) dan melawan tentara (misal pencurian) sama baiknya dengan mencontoh kelakuan teman sebaya dan moralnya. Kepemimpinan yg beretika diukur oleh persepsi pd gaya kepemimpinan dlm mendiskusikan isu etika.dan contoh penyetingan, dimana kebudayaan yg beretika diukur melalui penelitian standar, untuk pencanangan hukuman, di dalam regu, pleton, atau kompi. Untuk menaksir variabel ini, prajurit di masing2 tim meniali kepemimpinan yg beretika dan berbudaya pada tempat kerjanya.
Data dikumpulkan dengan survei seksional-cross mengambil 2.048 prajurit US yg bergabung dlm operasi militer Irak pada tahun 2009. Kuesioner dikumpulkan dan dikombinasikan dg berbagai rating menjadi informasi sebanyak 172 regu (terdiri dari 4 anggota), 78 pleton (terdiri dari 2 regu), dan 40 kompi (terdiri dari 4 pleton). Data digunakan untuk mengelaborasi tes model multilevel.

Aplikasi kuantitatif dan kualitatif
Bentuk dr analisis data multilevel atau pemodelan multilevel mengarah kepada penaturan yg berhubungan dg analisis kuantitatif yg mengukur pd dua atau lebih level analisis. Meskipun analisis kuantitatif sebagian besar ada di area penelitian ini, studi kualitatif diakui sebagai suatu yg penting. Dlm studi yg terkenal mengenai kecelakaan penembakan oleh US Black Hawks melewati Irak
Utara, Snook (2000) yg tdk puas dg level individu (mgp pilot F-15 slh mengidentifikasi Black Hawks, dlm tingkatan grup (mgp AWACS gagal mengintervensi) atau pd tingkat organisasi (mgp tentara AU melepaskan strategi penyerangan?). daripada hanya mendaftar penjelasan berlapis yg menarik dan penting bagi diri mereka, Snook membangun teori yg menjelaskan kecelakaan dlm mekanisme level-cross. Teori penympangan praktis menekankan pada kelambatan, melepaskan ketenangan latihan dari cara penulisan, umumnya melalui keseluruhan organisasi dan menuju kejadian tragis dalam militer yg kurang hebat dr apa yg orang pikirkan.
Meskipun studi kualitatif multilevel terkesan keren, sebagian besar penelitian multilevel dibangun dan diaplikasikan kpd penelitian kuantitatif. Pemodelan multilevel memiliki berbagai pernyebutan spt model hirarki, model campuran, model cluster, model kontekstual, dan model koefisien acak. Model2 ini memperpanjang model linear tradisional yag mengambil data tingkat perorangan yang digrupkan atau digabungkan ke dalam struktur lebih atas. Pengukuran pd tgkt rendah dikenal sbg level mikro, dan semua level atas disebut level makro (Kreft dan de Leeuw 1999). Dasar model linear level dua, data level mikro atau level satu (spt prajurit) bersarang dlm level makro atau unit level 2 (spt pleton), dan variabel dari kedua level analisis dimasukkan ke dalam mode 1 (Bliese dan Jex 2002)
Pemodelan multilevel pd dasar plg rendah umumnya model regresi linear yang koefisiennya ditunjukkan dlm bentuk ekuivalen algabra. Angka tsb dimasukkan ke dlm persamaan yg berhubungan dg level-mikro dihasilkan ke dalam variabel level-mikro sbg fungsi dr variabel level-makro. Kemungkinan lain, model multilevel ditunjukkan dalam fungsi antara variabel mikro dan makro. Bentuk kedua umumnya termasuk interaksi antara variabel level-mikro dan level-makro, atau interaksi level-cross, yg didiskusikan di bawah ini (Diprete dan Forristal 1994).
Beberapa bentuk berhubungan dengan variabel level yang penting untuk dicatat pertimbangan pada analisis data mutilevel (Chan 2006). Variabel global yang diukur adalah level natural mereka (Hox 2010). Sbg contoh, prajurit tahunan dan jenis kelamin adalah variabel global pada tingkat perorangan dan ukuran variabel global pada tingkat grup. Catatan bahwa variabel diukur pada level yang diberikan dpt berpindah ke level atas melalui pengumpulan data, dimana diperlukan grup level renah menjadi bentuk kecil dalam unit yang lebih tinggi. Contoh, nilai moral prajurit dikumpulkan dg menghitung rata2 nilai moral menjadi nilai unit moral. Sbg variabel baru yg dikumpulkan ke level atas dari level bawah ditunjuk variabel analitis. Persamaan variabel bisa dipindahkan dari level atas ke lebel bawah melalui pengurangan, dimana diperlukan variabel yg dikurangi pada level atas menjadi byk bagian pada unit terbawah. Sbg contoh, pengurangan ukuran pleton menjadi level prajurit, dimana tiap prajurit dlm pleton ditempatkan dg nilai yg sama pd ukuran pleton. Kreasi dr variabel ini menghasilkan pengurangan yg menyediakan informasi pada konteks level atas (pleton) ke unit level rendah (prajurit) dan variabel yg dikurangi ke level rendah dari level tinggi disebut variabel kontekstual (Chan 2006) Bgmnpun penting utk dicatat bahwa variabel harus diselesaikan dg bijaksana dan pusat konstruksi validitas. Detail framework menspesifikasikan hubungan fungsional antara konstruksi pada level berbeda yang bisa digunakan untuk mengkomposisikan variabel yg didiskusikan di Chan (1998).

Hubungan Antar Level Analisis
Metode tradisional pada analisis data, seperti model regresi ordinary least square (OLS), dg mencoba urk memasukkan kedua variabel individu dan level-kontekstual yg tdk bs dimengerti oleh multilevel. Terutama, pengelompokkan pengamatan level-individu dlm level-lebih tinggi atau unit kontekstual melanggar asumsi kesalahan yg menuju kebiasan di kedua parameter perkiraan dan standar eror (Bliese et al.2002). Tentunya, pengamatan tingkat perorangan di dalam kelompok yg sama tdk benar2 mandiri karena ada beberapa kesamaan mendasar hasil dari keanggotaan yg memimpin kemerdekaam antara pengamatan dan kesalahan di dalam level kelompok yg sma (Fullerton et al. 2007).
Keuntungan signifikan dari pemodelan multilevel bahwa kemerdekaan pengamatan tidak dibutuhkan, dan faktanya, kemerdekaan sering mengganggu tiap level analisis (Tabachnick dan Fidell 2007). Sbg contoh, di dalam rekrutmen tentara pada sesi pertempuran memengaruhi satu sama lain atau dipengaruhi oleh pelatih, dan kemungkinan lebih sama drpd rekrutmen tentara lain pada sesi peperangan. Persamaannya rekrutmen dalam pelatihan sekolah tentara lebih sama daripada rekrutmen di sekolah yang berbeda. Sbg tambahan, mgkn interaksi hirarki lintas level (atau interaksi cross-level, pada studi ilustrasi dan diskusi di bawah). Sbg contohkarakter siswa di dalam sekolah pelatihan tentara berinteraksi ramah dengan pelatih pada saat pelatihan. Mengabaikan hirarki atau pengindukan data dan menganalisa jika tingkat yg sama bisa membawa kepada interpretasi dan kesalahan statistik (Chan 2006; Dansereau et al. 2006; Snijder and Bosker 1999).
Satu dari tipe utama kesalahan interpretasi adalah ecological fallacy, mengacu kpd Robinson effect, dimana hubungan antar tingkat kelompok adalah pemikiran untuk mengimplementasikan hubungan pada tingkat individu (Hox 2010). Contoh, jika data pada pelayanan militer (misal AD, AL, AU) digunakan untuk membuat kesimpulan mengenai individu (misal tentara, prajurit, pilot). Kelemahan utk mengakui perubahan dalam-kelompok adalah data bisa mengubah hubungan di bawah pemeriksaan (Heck and Thomas 2009). Ecological fallacy bs bernilai positif maupun negatif. Ecological fallacy bernilai positif terjadi ketika hubungan pada tingkat kelompok (misal keluarga militer di kelompok dimana Military Family Resource Centres/Pusat Sumber Daya Keluarga Militer (MFRCs) menyediakan pelayanan yg besar) digunakan untuk membuat kesimpulan ttg hubungan yg sama pd tingkat individu (misal keluarga militer yg lbh srg menggunakan pelayanan MFRC lbh sehat). Negative ecological fallacy terjadi jika kurangnya hubungan pada tingkat kelompok (misal tdk afa hubungan antara proporsi prajurit di suatu unit yg menderita penyakit post traumatik stres dan pengurangan taksiran unit) diterjemahkan ke dalam kesimpulan mengenai hubungan pada tingkat individu. Pd kasus ini kelompok acak digunakan sbg analisis, dimana hasil di tingkat rendah n (berdasarkan jumlah grup dibandingkan jumlah individu di dalam tiap kelompok). Secara statistik, tipe analisis ini meningkatkan standar kesalahan dan mengurangi kekuatan statistik, dan untuk itu kemungkinan besar memasukkan kesalahan tipe II, atau kesalahan tdk menentu untuk mengamati sebuah dampak yg sebenarnya terjadi (Chan 2006).
Tipe lain dari kesalahan interpretasi yg bs mengabaikan hirarki data awal dengan atomistic fallacy, kadang ditunjukkan pada individuallistic fallacy, dimana kesimpulan variabel tingkat kelompok menyimpulkan berdasarkan data yg dikumpulkan pada level-individu. Sbg contoh, prajurit yg berindah tempat lbh srg memiliki identitas prajurit lbh kuat (dibanding peacekeeper), kepemimpinan di pleton yg berpindah lbh srg lebih kuat identitas prajuritnya. Secara statistik, kesalahan tipe I (misal tdk menentu termasuk dampak yg ada faktanya) analisa kinerja pd tingkat lbh rendah digunakan utk membuat kesimpulan pada tingkat kelompok krn analisis berdasarkan pd banyaknya derajat kebebasan yg tdk mandiri, dan kesalahan standar yg tdk menentu menghasilkan perkiraan berlebih atas ketepatan parameter kepentingan (Heck and Thomas 2009).

Korelasi Intra-Kelas
Seperti didiskusikan, dlm perjenjangan data induk sering diasumsikan bahwa individu atau perorangan ataupun unit level satu dlm grup yg sama atau level kedua unit lebih mirip satu sama lain dibandingkan perorangan dalam level unit yg berbeda. Persamaan atau homogenitas individu dlm grup bisa diukur dg menghitung korelasi antar kelas (Bliese et al. 2002). Menghitung korelasi antar kelas pada tingkat skuad, pleton, dan kompi adalah langkah pertama dlm menganalisis data pada dampak kepemimpinan yg beretika dan berbudaya.
Area korelasi menunjukkan bahwa data pada level yg bervariasi dapat menyatukan batas, level yg lebih tinggi (Schaubroek et al. 2012: 1063-1064). Korelasi inter-kelas pada tingkat yg lebih tinggi menunjukkan perorangan di dalam kelompok adalah homogen atau kelompok yg berbeda satu sama lain. Secara umum, korelasi inter-kelas menandakan bahwa kelompok berbeda tipis satu sama lain. Korelasi inter-kelas yang bernilai nihil mengartikan bahwa tidak ada grup yg berbeda yg memiliki variabel ketertarikan, dan perorangan dalam grup yg sama berbeda satu sama lain dengan perorangan pada grup yg berbeda. Jadi, bila korelasi inter-kelas nihil, mengelompokkan data tidak memiliki konsekuensi untuk hubungan variabel kesamaan dan bisa diabaikan untuk analisis berikutnya. Sebaliknya, jika ada korelasi intra-kelas yg kuat atau penting, pemodelan korelasi intra-kelas memiliki kesesuaian atau ketepatan dan membutuhkan induk data dlm akun dan akun akan memberikan pengaruh guna memberikan pemahaman yg lbh baik dlm phenomenon of interest (Kreft and de Leeuw 1999)
Sejak korelasi intra-kelas dapat menjadi suatu pemikiran sbg ukuran dari derjat ketergantungan individu (Bliese 2000), keberadaan dari korelasi intra-kelas mengindikasikan bahwa sebuah asumsi dari pengamatan independen yg dpt digunakan dlm tekik analisa data yg tradisional dilanggar. Lbh byk individu yg berbagi kesamaan pengalaman karena kedekatan jarak atau waktu, persamaan atau dependen yg sama.

Interaksi-Lintas-Tingkatan (Cross-Level Interaction)
Interaksi-lintas-tingkatan, sebagaimana namanya, memerlukan analisis terhadap dampak interaksi antar level yang berbeda, seperti interaksi antara level individu dan level grup. Ketika terdapat interaksi semacam itu, pengaruh dari variabel level individu terhadap hasil analisis data dapat tercukupi/terwakili oleh variabel pada level grup.
Sebagai tambahan, hubungan antara dua variabel level individu terhadap hasil analisis data dapat tercukupi/terwakili oleh variabel dari sebuah grup. (Karakteristik hubungan antara variabel-variabel level individu dapat berbeda pada grup yang berbeda). Sebagai contoh, penelitian terhadap pengaruh ‘pengerahan/penyebaran pasukan’ terhadap‘kualitaspenjagaan’ personil militer memunculkan hasil yang bercampur-aduk (bermacam-macam).
Untuk menjelaskan hasil yg seperti ini, sangat disarankan bahwa tipe penyebaran pada level grup dapat mewakili hubungan antar variabel ini. Misalnya ‘penyebaran pasukan’ dapat meningkatkan ‘kualitas penjagaan’ tiap-tiap individu dalam operasi yang tidak terlalu berbahaya. Meskipun, ‘penyebaran pasukan’ juga dapat mengakibatkan turunnya ‘kualitas penjagaan’ pada operasi yang lebih berbahaya. (Fricker, 2003 ; Wisecarver, 2006)
Dalam studi ilustratif tentang kepemimpinan beretika, dapat terlihat bahwa akan muncul dampak yang lebih besar pada budaya beretika di suatu unit jika kepemimpinan-level-tinggi di unit tersebut juga beretika. Dan dampak yang sangat kecil/terbatas jika kepemimpinan-level-tinggi nya tidak terlalu berorientasi kepada etika. Dampak/pengaruh yang ditimbulkan dari tipe-tipe interaksi ini hanya bisa diuji menggunakan model data struktur bertingkat, dan memperkirakan pengaruh-pengaruh interaksi-lintas-tingkatan tersebut.

Hierarchical Linear Modelling (HML)
Terdapat dua teknik umum dalam menganalisa data multi-level, yakni HLM (Hierarchical Linear Modelling) dan LVM (Latent Variable Modelling). Untuk memahami HLM dibutuhkan pengetahuan dasar tentang beberapa pendekatan. HLM mewakili mayoritas pendekatan multi-level yang digunakan dalam penelitian bertingkat. HLM juga merupakan teknik analisis yang digunakan pada studi ilustratif oleh Schaubroeck (2012) terhadap pengaruh kepemimpinan beretika dan budaya di dalam dan lintas tingkatan.
HLM adalah pendekatan analisis data yang sangat berguna dan populer. Ia mengidentifikasi dan membagi sumber-sumber data yang berbeda pada variabel yang digunakan, dan lebih jauh lagi, ia menyediakan permodelan variasi sumber data tersebut menggunakan analisis lintas tingkatan. HLM merupakan sarana yang mumpuni untuk penilaian dampak dan interaksi lintas level. Lebih spesifik lagi, permodelan multi-level mengamati dampak dari level-grup yang potensial, yang bergantung pada observasi level-individu yang bervariasi antar grup. Misal, variabel hasil : ‘nilai hasil latihan’ Dan variabel kriteria : ‘nilai potensi bakat’
Sebagai contoh, hubungan variabel antara ‘nilai hasil latihan’ dan ‘nilai potensi bakat’ tentara dibiarkan bervariasi. Variasi ini dimodelkan dengan menganggap rata-rata nilai grup dan penyebaran nilai nya sebagai kriteria untuk penilaian variabel pada level di atasnya. Kemudian kedua variabel ini akan dihubungkan dengan variabel pada level yang lebih tinggi, misal ‘kepemimpinan ketua grup’.
Secara konseptual, HLM bisa dianggap sebagai pendekatan dua level, dimana analisis pada level-1 mengandung penilaian variabel hasil ‘nilai hasil latihan’ terhadap variabel kriteria ‘nilai potensi bakat’ pada masing-masing grup.
Penilaian seperti ini dilakukan terhadap seluruh grup, tanpa mengasumsikan hasil yang konsisten/serupa antar grup yang berbeda.
Analisis level-2 kemudian menilai seberapa jauh kedua variabel di atas dapat diprediksi, kemudian menjadikannya sebagai kriteria bagi variabel di level ini. Interaksi lintas tingkatan  yang signifikan mengindikasikan bahwa variabel pada level-grup dapat mewakili hubungan antara dua variabel pada level-individu, karena variabel pada level-2 sangat mempengaruhi variabl-variabel pada level di bawahnya.
Meskipun permodelan ini memiliki basis dua level, namun pada perkembangannya ia juga dapat diterapkan pada kasus-kasus multi-level, dengan tiga tingkatan atau lebih.

Studi longitudinal : Analisis kurva pertumbuhan
Permodelan lintas-seksi multi-level memeriksa data individu yang menginduk pada unit di atasnya. Dalam analisis longitudinal, model multi-level memeriksa pola-pola variabel individu yang terukur.
Meskipun data pada level terendah biasanya bersifat pengukuran tunggal, dalam desain longitudinal data tersebut diukur berkali-kali, dan hasil tersebut dinisbatkan kepada level-individu.
Dengan demikian, analisis longitudinal lebih berfokus kepada perubahan data yang terjadi dalam beberapa pengukuran terhadap satu individu. (Bliese, 2007; Han dan Andres, 2014).
Dalam kasus tersebut, yang perlu diperhatikan adalah bagaimana kecenderungan suatu kebiasaan pada seseorang/individu memiliki kemiripan dengan kebiasaannya sebelumnya, kemudian dibandingkan dengan kebiasaan orang/individu lain. (Kreft dan de Leeuw, 1999)
Karena ada analisis berbeda pada setiap kasus di waktu yang berbeda, hal tersebut dapat dianalisis dengan kurva pertumbuhan (Heck dan Thomas, 2009). Sebagai contoh, apakah ‘adaptasi’ anak-anak tentara akan berubah seiring dengan ‘perubahan penugasan’ pada orang tuanya? Jika iya, adakah variabel lain seperti ‘dukungan keluarga’ atau ‘pelayanan militer keluarga’ yang dapat membantu memprediksi perubahan-perubahan tersebut?

Pertimbangan dalam Pemodelan Multilevel
Peran petunjuk teoritis dan pemilihan prediksi
            Pemberian bahwa tujuan utama analisis data multilevel adalah untuk mempertimbangkan pemrediksi di analisis level berbeda, korelasi antara pemrediksi di semua analisis level dipertimbangkan bersama dan diatur satu dengan yang lain. Sebagai hasilnya, hal itu menjadi lebih seperti tidak ada hubungan koefisien regresi dengan pemrediksi-pemrediksi ini akan menjadi signifikan secara statistik. Dengan demikian hal itu merupakan kunci penting untuk memilih angka yang tepat dan kombinasi pemrediksi untuk memaksimalkan penggunaan analisis dalam menjelaskan ketertarikan pada fenomena. Faktanya, hal ini disarankan bahwa hanya pemrediksi sebuah angka kecil yang dipilih dan lebih jauh, bahwa pemrediksi ini secara relative tidak berhubungan satu sama lain (Tabachnick and Fidell, 2007). Tentu saja, teori yang kuat dan konsep yang rasional sebaiknya digunakan dalam pemelihan pemrediksi, dan akan menolong dalam memilih angka terbatas yang dapat mengoptimalkan penjelasan dari ketertarikan pada fenomena.
            Hanya pemrediksi relevan yang secara teoritis termasuk dalam model dan dapat digunakan untuk permulaan.Dengan mengikuti hal ini, pemrediksi bisa ditambahkan dengan tujuan untuk kepentingan, dan pemrediksi-pemrediksi tersebut tidak dapat memperbaiki prediksi dari ketertarikan fenomena yang didapat dari analisis (meski pemrediksi menambahkan secara makna untuk interaksi antar level (cross-level interaction) (Raudenbush dan Bryk 2001).Jika ada banyak angka dari pemrediksi potensial, pertama-tama hal itu harus discreening (disaring) menggunakan teknik simple modeling, seperti linear regresi, untuk mengeliminasi pemrediksi-pemrediksi yang tidak memberikan kontribusi untuk menjelaskan ketertarikan fenomena dari awal.Selanjutnya, apabila sampel cukup besar, hal tersebut disarankan bahwa analisis tipe eksploratori divalidasi silang menggunakan sebagian sampel untuk membangun model, dan sebagianyang lainnya untuk validasi silang. Hal ini akan mengecilkan derajat yang mana eksploratori teknik pembangunan model ini dipengaruhi oleh kesempatan (Tabachnick and Fidell, 2007).
            Asumsi statistik dan pembatasan yang menyinggung teknik analisis data tradisional secara umum diaplikasikan dalam teknik multilevel analisis data yang baik (Castro, 2002).Sebagai contoh, pembersihan data pendahuluan dan analisis-analisis membutuhkan taksiran kecocokan dengan asumsi distribusi sebaik skema.
            Secara ideal, hal ini direkomendasikan bahwa screening (penyaringan/filterisasi) dari pemrediksi level bawah sebaiknya dilakukan dengan masing-masing unit level tinggi. Meskipun demikian, hal ini tidak dapat dijalankan, khususnya saat jumlah unit level tinggi tersebut besar.  Seperti dalam kasus unit level rendah dikombinasikan degan unit level tinggi. Demikian juga, pemrediksi level kedua sebaiknya diperiksa dengan pemrediksi level ketiga jika memungkinkan, atau pemrediksi-pemrediksi tersebut boleh diagregatkan melewati pemrediksi level ketiga (Tabachnick and Fidell, 2007).
            Dengan sifat yang demikian, model multilevel secara umum lebih kompleks daripada model tradisional, karena memerlukan perhitungan sebuat angkat lebih besar dari persamaan di berbagai analisis variasi level.Seperti yang telah didiskusikan, tambahan pada efek ketertarikan pada setiap level, efek parameter, termasuk intercept (pemotongan) dan slope (kecondongan), juga merupakan ketertarikan dalam setiap level. Sebagai contoh, tipe-tipe model ini secara umum mengharuskan ukuran sampel lebih besar pada setiap level untuk meniadakan ketidakstabilan yang sudah melekat dalam model model tersebut (Chan 2006). Studi ilustratif didasarkan pada sampel 2.048 tentara yang dibutuhkan utnuk membangun model multilevel yang terdiri dari kasus yang lebih sedikiti pada setiap level  berikutnya, seperti tim / regu, kemudian  pleton, dan terakhir kompi.
            Sepeti dalam kebanyakan analisis, kekuatan meningkatkan ukuran sampel, lebih besar ukuran efek, dan standar eror lebih kecil. Meskipun demikian, ada beberapa isu yang lebih kompleks terkait kekuatan dalam tipe analisis ini yang menyinggung untuk memiliki efek pada analisis level yang berbeda. Sebagai contoh, hal tersebut telah ditunjukkan bahwa kekuatan tumbuh dengan ukuran dari korelasi intra-class (contohnya perbedaan antara grup relatif perbedaan-perbedaan dalam grup seperti yang telah didiskusikan di atas), terutama untuk tes efek level tinggi dan interakasi cross-level. Secara umum hal ini telah didemonstrasikan bahwa kekuata lebih besar dengan angka yang lebih besar dalam grup (atau unit level kedua) daripada jalan lainnya, tetapi bahwa kekuatan meningkat dengan sampel yang lebih banyak ukuran pada kedua level  (Tabachnick and Fidell, 2007).

Batasan dan Catatan Peringatan
            Meskipun analisis multilevel data menyediakan metode canggih untuk fenomena analisis kompleks dan pertimbangan pengaruh pemrekdiksi pada analisis level yang berbeda, hal tersebut penting untuk mengenal pertukaran antara penggunaan model tipe ini seperti yang dibandingkan untuk lebih ke pendekatan tradisional. Satu hal point penting yang utama untuk pertimbangan adalah meskipun model multilevel memungkinkan hasil penjelasan yang lebih realistis dari fenomena kehidupan nyata, model tipe-tipe ini secara umum lebih kompleks, dan dengan demikian tidak selalu merupakan pendekatan yang paling baik.Sebagai catatan, analisis multilevel data biasanya menghasilkan model statistic yang lebih kompleks dimana secara umum lebih sulit untuk diinterpretasikan daripada model yang lebih sederhana.
            Selanjutnya, hasil dari model kompleks biasanya lebih sulit untuk direplikasi melewati sampel dan melaluti studi yang berbeda. Hal ini karena model kompleks lebih sensitif untuk mengubah apa yang menjadi sebuah sistem yang lebih kompleks, yang mana memerlukan sebuat angka yang lebih besar dari variabel penjelasan, yang diukur di hirarki multiple level, yang mana dipimpin untuk ketidakstabilan dalam estimasi parameter across-model yang berbeda dalam jalan kecil (minor way)(Kreft dan de Leeuw 1999). Paling sedikit, tipe-tipe model ini tidak secara umum direkomendasikan untuk analisisi penyelidikan data atau modifikasi yang luas untuk meningkatkan kecocokan model )(Kreft dan de Leeuw 1999).
            Selain itu, hal ini penting untuk membayar perhatian pada unit level tinggi dan tidak untuk membingungkan angka unit level tinggi dengan ukuran total studi sampel atau total jumlah observasi level rendah. Meskipun kekuatan statistik dari tes signifikansi dari estimasi level rendah bergantung dari ukuran total sampel level rendah, kekuatan statistic dari estimasi untuk setimasi level tinggi dan interakti cross-level didasarkan pada jumlah dari unit level tinggi. Karena HLM (Hierarchical Linear Modelling) dan teknik multilevel lainnya menganggap ukuran sampel yang besar penting untuk memastikan jumlah cukup dari grup untuk tes dengan baik dan menginterpretasikan efek-efek dari analisis multilevel (Castro, 2002; Chan 2006).
            Akhirnya, meskipun model multilevel sangat fleksibel dan memperbolehkan untuk pengetesan sebuah jenis hypothesis mengenai variabel dan hubungan pada level multiple, sebaik hubungan cross-level yang bervariasi, kefleksibilitasan ini juga membuat lebih mudah menyerang pada penyalahgunaan hasil yang menyesatkan atau kesimpulan yang salah (Chan, 2006), seperti ekologi buah pikiran yang keliru dan buah pikiran keliru atomistis seperti yang didiskusikan di atas.

Kesimpulan
            Penelitian militer penuh dengan fenomena multilevel, atau hirarki, dalam sifat.Contohnya, penelitian militer tertarik dalam memahami individu (atau unit mikro level lainnya dengan lingkungan sosialnya atau hubungan organisasi. Individu-individu dengan grup level tinggi atau hubungan sering berbagi kekayaan umum atau karakteristik-karakteristik atau persoalan pengalaman umum. Dengan cara yang sama, kekayaan atau grup atau hubungan dapat juga dipengaruhi oleh individu-individu yang ada di dalamnya. Hal ini jelas bahwa analisis multilevel tidak hanya berguna, namun dalam fakta sering digunakan sebagai sebuah pendekatan yang diperlukan untuk penelitian militer, memungkinan peneliti-peneliti untuk memahami fenomena-fenomena di bawah investigasi lebih akurat dan lebih lengkap.