Ekstraksi Parameter Fitur yang Disempurnakan Dari Sinyal Suara Menggunakan Algoritma Machine Learning(1)
May 30, 2023
Abstrak: Pengenalan ucapan mengacu pada kemampuan perangkat lunak atau perangkat keras untuk menerima sinyal ucapan, mengidentifikasi fitur pembicara dalam sinyal ucapan, dan mengenali pembicara setelahnya. Secara umum, proses pengenalan ucapan melibatkan tiga langkah utama: pemrosesan akustik, ekstraksi ciri, dan klasifikasi/pengenalan. Tujuan dari ekstraksi ciri adalah untuk mengilustrasikan suatu sinyal suara menggunakan sejumlah komponen sinyal yang telah ditentukan sebelumnya. Ini karena semua informasi dalam sinyal akustik terlalu rumit untuk ditangani, dan beberapa informasi tidak relevan dalam tugas identifikasi. Studi ini mengusulkan pendekatan berbasis pembelajaran mesin yang melakukan ekstraksi parameter fitur dari sinyal suara untuk meningkatkan kinerja aplikasi pengenalan suara di lingkungan kota pintar secara real-time. Selain itu, prinsip pemetaan blok memori utama ke cache digunakan secara efisien untuk mengurangi waktu komputasi. Ukuran blok memori cache adalah parameter yang sangat mempengaruhi performa cache. Secara khusus, penerapan proses tersebut dalam sistem real-time membutuhkan kecepatan komputasi yang tinggi. Kecepatan pemrosesan memainkan peran penting dalam pengenalan ucapan dalam sistem waktu nyata. Ini membutuhkan penggunaan teknologi modern dan algoritme cepat yang meningkatkan akselerasi dalam mengekstraksi parameter fitur dari sinyal suara. Masalah dengan overclocking selama pemrosesan digital sinyal ucapan belum sepenuhnya terselesaikan. Hasil eksperimen menunjukkan bahwa metode yang diusulkan berhasil mengekstraksi fitur sinyal dan mencapai kinerja klasifikasi yang mulus dibandingkan dengan algoritme pengenalan suara konvensional lainnya.
Cistanche deserticola
Kata kunci: pengenalan suara; komputasi paralel; komputasi terdistribusi; prosesor multicore; ekstraksi fitur; analisis spektral
1. Perkenalan
Pembentukan pendekatan komunikasi antara manusia dan teknologi komputer merupakan tugas penting dalam kecerdasan buatan modern. Salah satu metode termudah bagi pengguna untuk memasukkan informasi adalah melalui sinyal suara. Oleh karena itu, teknologi pemrosesan sinyal suara dan perangkatnya telah menjadi bagian penting dari masyarakat informasi. Pengenalan ucapan adalah aspek penelitian penting dari pemrosesan sinyal ucapan dan teknik interaksi manusia-komputer yang vital. Sinyal ucapan mengandung informasi semantik, pribadi, dan lingkungan [1]. Pendekatan umum untuk pemrosesan sinyal ucapan adalah dengan menggunakan analisis jangka pendek, di mana sinyal dibagi menjadi jendela waktu dengan ukuran tetap, dengan asumsi bahwa parameter sinyal tidak berubah. Tumpang tindih ditempatkan di antara jendela untuk mendapatkan representasi sinyal yang lebih akurat. Algoritme ekstraksi fitur seperti analisis spektral dan prediksi linier diterapkan pada setiap jendela. Namun, proses ini juga harus mempertimbangkan kecepatan dan waktu.
Ginseng gurun
Pengaturan waktu merupakan perhatian yang signifikan di beberapa area pemrosesan sinyal waktu nyata. Rasio kecepatan pemrosesan dapat ditingkatkan dengan menggunakan sumber daya prosesor secara efisien dan mengembangkan algoritme baru dan cepat untuk mengurangi waktu pemrosesan digital. Namun, masalah komputasi performa tinggi belum sepenuhnya terselesaikan [2]. Selain itu, kemajuan substansial telah dibuat dalam pengenalan ucapan otomatis dengan pengembangan perangkat keras dan perangkat lunak pemrosesan sinyal digital. Namun, terlepas dari kemajuan ini, mesin tidak dapat menandingi kinerja manusia dalam hal akurasi dan pengenalan kecepatan, terutama dalam pengenalan suara yang tidak bergantung pada speaker. Dengan demikian, sejumlah besar penelitian yang telah dilakukan pada pengenalan suara telah difokuskan pada masalah pengenalan suara yang independen dari pembicara, karena berbagai aplikasi dan keterbatasan teknik pengenalan suara yang tersedia [3].
Singkatnya, kontribusi utama dari penelitian ini adalah sebagai berikut:
Teh cistanche
Klik di sini untuk melihat produk teh Cistanche deserticola
【Minta lebih lanjut】 Email:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692
Proses mengidentifikasi seseorang dengan sinyal ucapan terdiri dari beberapa tahap. Diantaranya, beberapa langkah membutuhkan lebih banyak waktu perhitungan. Ini adalah analisis spektral. Salah satu parameter yang sangat penting dalam algoritma pembelajaran mesin adalah waktu pelatihan. Dalam karya ini, kami menemukan bahwa proses ekstraksi fitur penting untuk identifikasi sinyal ucapan. Selain itu, dibutuhkan banyak waktu dalam pembelajaran mesin. Telah ditetapkan bahwa proses analisis spektral terdiri dari operasi independen, dan paralelisasi dimungkinkan.
Eksperimen telah menunjukkan bahwa transformasi spektral FFT dan DCT memberikan hasil yang baik dalam analisis spektral. Proses analisis spektral berlaku untuk setiap segmen sinyal suara. Ini memungkinkan kami untuk membedakan dengan jelas fitur-fitur ini dari sinyal ucapan. Dengan bantuan alat OpenMP dan TBB, algoritme komputasi paralel dikembangkan yang memungkinkan untuk mempercepat penghitungan.
Ukuran segmen penting saat membagi sinyal suara menjadi segmen-segmen. Selama percobaan, ditemukan bahwa ukuran segmen sinyal suara bergantung pada memori cache prosesor pusat. Secara khusus, pencocokan segmen dengan ukuran cache dalam prosesor multicore telah ditemukan memiliki efek positif pada kecepatan komputasi dalam pembelajaran mesin.
Metode implementasi paralel baru diusulkan untuk transformasi spektral sinyal untuk ekstraksi parameter fitur dari sinyal ucapan menggunakan algoritme pembelajaran mesin pada prosesor multicore menggunakan TBB dan OpenMP.
Ditemukan juga bahwa penggunaan prinsip pemetaan blok memori utama ke cache dan ukuran blok memori cache secara efektif dapat meningkatkan kecepatan pemrosesan.
Suplemen Cistanche di dekat saya-Meningkatkan Memori
Sisa dari makalah ini disusun sebagai berikut. Bagian 2 mengulas studi yang ada untuk mengekstraksi properti sinyal suara tertentu. Bagian 3 menjelaskan langkah-langkah ekstraksi ciri dengan eksperimen. Bagian 4 menyajikan algoritme komputasi performa tinggi yang diusulkan untuk mengekstraksi parameter fitur dari sinyal ucapan secara mendetail. Hasil eksperimen berdasarkan implementasi kami dibahas dalam Bagian 5. Bagian 6 menyoroti keterbatasan metode yang diusulkan. Akhirnya, Bagian 7 menyimpulkan penelitian dengan meringkas temuan dan mencatat arah penelitian di masa depan.
2. Pekerjaan Terkait
Metode baru, algoritme, dan aplikasi yang lebih modern saat ini sedang dikembangkan dan ditingkatkan untuk segmentasi sinyal suara dan perhitungan indikator parametrik dari fragmen terpilih, sehingga menciptakan spektogram sinyal suara menggunakan analisis spektral [4-7]. Identifikasi pembicara dengan klip suara yang beragam di seluruh dunia adalah tugas yang penting dan menantang, terutama dalam mengekstraksi fitur yang kuat dan diskriminatif [8]. Sistem ekstraksi fitur Mel Frequency Cepstral Coefficients (MFCC) baru yang lebih cepat dan lebih hemat energi daripada realisasi MFCC tradisional diusulkan oleh Korkmaz et al. [9]. Alih-alih menggunakan filter pra-penekanan high-pass, mereka menggunakan filter low-pass. Mereka menerapkan filter bandpass dengan filter high-pass karena pra-penekanan diperlukan untuk meningkatkan energi sinyal dalam frekuensi tinggi. Dalam pekerjaan kami sebelumnya [10], kami mempresentasikan metode baru berbasis MFCC untuk identifikasi pembicara. Alih-alih menggunakan MFCC konvensional, kami menggunakan piksel dari spektogram Mel sebagai set fitur kami. Spektrogram diubah menjadi larik 2-D untuk membuat kumpulan data baru. Untuk mengidentifikasi pembicara, beberapa algoritme pembelajaran dipraktikkan dengan teknik 10-fold cross-validation. Dengan bantuan multi-layer perceptron (MLP) dengan fungsi aktivasi tanh, akurasi terbaik dicapai 90,2 persen.
Ekstraksi fitur dilakukan dengan mengubah bentuk gelombang ucapan menjadi bentuk representasi parametrik pada kecepatan data yang relatif lebih rendah untuk pemrosesan dan analisis selanjutnya [11-14]. Pendekatan ekstraksi fitur biasanya menghasilkan vektor fitur multidimensi untuk setiap sinyal suara. Ekstraksi fitur adalah bagian yang paling relevan dari pengenalan pembicara. Fitur pidato memiliki bagian penting dalam pemisahan pembicara dari orang lain. Ekstraksi fitur mengurangi besarnya sinyal ucapan, tanpa menyebabkan kerusakan pada kekuatan sinyal ucapan [15-17]. Pada [18], penulis memperkenalkan pendekatan baru yang mengeksploitasi fine-tuning parameter ukuran dan pergeseran dari jendela analisis spektral yang digunakan untuk menghitung transformasi Fourier waktu pendek awal untuk meningkatkan kinerja pengenalan suara otomatis yang bergantung pada speaker. (ASR) sistem. Dengan tidak adanya dokter, orang awam dapat menggunakan sistem bantuan keputusan yang dibuat dengan menggunakan pendekatan kecerdasan buatan. Deteksi status jantung dini dan non-invasif dapat dilakukan dengan menggunakan sinyal fonokardiogram (PCG) [19-21].
Jaringan saraf convolutional (CNNs) telah didemonstrasikan berhasil mensimulasikan lokalitas struktural dalam ruang fitur serta menggunakan penggabungan dalam wilayah frekuensi bias untuk mengurangi variasi translasi dan menyesuaikan gangguan dan perubahan kecil dalam ruang fitur [22]. Mukhamadiyev dkk. mengusulkan model pengenalan suara model Markov yang tersembunyi dalam jaringan saraf end-to-end dan jaringan perhatian-perhatian klasifikasi sementara koneksionis hybrid (CTC) untuk bahasa Uzbekistan dan dialeknya. Pendekatan yang diusulkan mengurangi waktu pelatihan dan meningkatkan akurasi pengenalan suara dengan menggunakan fungsi objektif CTC secara efektif dalam pelatihan model perhatian [23]. Ekstraksi fitur dan klasifikasi menggunakan model jaringan saraf convolutional (CNN) satu dimensi, yang membagi sinyal suara jantung menjadi normal dan abnormal secara langsung independen dari elektrokardiogram (EKG), diusulkan dalam [24]. Mereka mengklaim bahwa akurasi klasifikasi lebih tinggi di CNN 1D daripada di CNN 2D untuk sinyal suara jantung yang digunakan dalam penelitian ini ketika kernel konvolusi kurang dari 52 karena kernel konvolusi yang besar dapat menyebabkan kompleksitas komputasi dan semakin memakan waktu. . Dalam [25], jaringan saraf yang dalam dilatih untuk memaksimalkan akurasi posterior urutan keadaan model akustik mengenai urutan fitur ucapan menggunakan basis data TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).
3. Pra-Pemrosesan: Ikhtisar Material
Suplemen Cistanche di dekat saya-Meningkatkan Memori
Untuk tujuan ini, pengembangan algoritme cepat untuk mengekstraksi parameter fitur dari sinyal ucapan dan representasi parametrik, ekstraksi sampel yang bermanfaat dan informatif untuk diproses, dan pengembangan program untuk implementasi spektrogram segmen akustik terpilih sangat diperlukan.
Sistem pengenalan ucapan terdiri dari dua subsistem utama:
Pemrosesan utama sinyal ucapan (fonogram);
Klasifikasi simbol akustik menggunakan algoritma cerdas (spektogram).
Subsistem pertama menghasilkan simbol akustik sebagai seperangkat sifat akustik informatif dari sinyal dan karakteristik sinyal. Subsistem kedua mengubah sinyal ucapan menjadi bentuk parametrik berdasarkan karakteristik akustik yang diperoleh. Pemrosesan sinyal ucapan terdiri dari tahapan berikut:
Pemisahan batas-batas sinyal ucapan;
Penyaringan digital;
Segmentasi;
Penerapan jendela perataan;
Transformasi spektral, dan normalisasi frekuensi spektral.
Langkah-langkah ini digunakan secara ekstensif untuk mengekstraksi parameter fitur dari sinyal ucapan, dan fitur utamanya dipertimbangkan sebagai berikut.
3.1. Pemisahan Batas
Ekstraksi hanya bagian ucapan dari sinyal yang masuk atau penentuan momen awal dan akhir kalimat di lingkungan yang bising merupakan tugas penting dalam pemrosesan ucapan. Sifat-sifat sinyal ucapan berikut digunakan untuk menyelesaikan masalah ini: energi jangka pendek dari sinyal ucapan, jumlah titik yang berpotongan pada nol, kerapatan distribusi nilai bidang diam dalam sinyal, dan entropi spektral. Sistem pengenalan suara tradisional menggunakan teknik yang didasarkan pada energi transien dan spektral dari sinyal (misalnya, deteksi aktivitas suara) untuk menentukan batas suara dari sinyal suara yang masuk [26-28].
Parameter utama dari sinyal suara adalah energi jangka pendek dari sinyal suara dan jumlah titik yang melewati nol. Biasanya, parameter sinyal suara berubah dengan cepat seiring waktu; oleh karena itu, biasanya memproses sinyal ucapan menjadi fragmen dengan panjang 10 hingga 30 ms yang tidak tumpang tindih. Sinyal ucapan tidak bergerak dalam rentang ini, dan area diam dalam sinyal ucapan dihilangkan dengan menghitung energi transien. Algoritme untuk memecahkan masalah ini dibagi menjadi urutan N dari 256 nilai energi jangka pendek dari sinyal ucapan berikutnya.
Perhitungan energi setiap fragmen dengan membagi sinyal ucapan sesuai untuk komputasi paralel dan terdistribusi. Setiap fragmen diproses secara independen. Jika pemrosesan diterapkan dalam multiprosesor n-core, energi n fragmen dapat dihitung secara bersamaan. Oleh karena itu, dimungkinkan untuk meningkatkan efisiensi pemrosesan paralel selama tahap ini [29-32].
3.2. Jumlah Zero-Crossing
Persimpangan nol adalah titik di mana tanda fungsi matematika berubah (misalnya, dari positif ke negatif), yang diwakili oleh perpotongan sumbu (nilai nol) dalam grafik fungsi [33]. Frekuensi zero-crossing dalam sebuah sinyal mungkin merupakan indikator paling langsung dari sifat spektralnya. Misalnya, jumlah titik yang melewati nol dalam sinyal ucapan dapat ditentukan dengan menggunakan persamaan berikut:
Gambar 1. Metode pemisahan suara berdasarkan analisis entropi spektral.
3.3. Penyaringan Digital
Selain sinyal yang khas dan berguna, ada berbagai jenis kebisingan. Karena kebisingan berdampak negatif pada kualitas sistem pengenalan ucapan, menangani kebisingan adalah masalah yang mendesak. Dua jenis filter digital digunakan untuk mengurangi tingkat kebisingan dalam sistem: filter garis dan filter awal. Filter linier dapat dianggap sebagai kombinasi filter frekuensi rendah dan tinggi karena menangkap semua frekuensi rendah dan tinggi. Penyaringan awal diterapkan untuk meminimalkan dampak gangguan lokal pada tanda karakteristik yang digunakan untuk identifikasi selanjutnya. Sinyal ucapan harus dilewatkan melalui filter low-pass untuk penyelarasan spektral [35].
3.4. Segmentasi
Segmentasi adalah proses membagi sinyal ucapan menjadi fragmen diskrit dan tidak tumpang tindih. Sinyal biasanya dibagi menjadi unit ucapan seperti kalimat, kata, suku kata, fonem, atau bahkan unit fonetik yang lebih kecil. Segmentasi rekaman yang berisi ucapan-ucapan dari banyak penutur dapat terdiri dari menghubungkan bagian-bagian ujaran dengan penutur tertentu. Istilah "stasiun segmen" kadang-kadang digunakan untuk merujuk pada pembagian sinyal suara ke dalam bingkai sebelum parameterisasinya [36,37].
3.5. Transformasi Spektral
Penting untuk membedakan fitur-fitur utama dari sinyal ucapan yang digunakan pada tahap selanjutnya dari proses pengenalan suara. Fitur awal ditentukan dengan menganalisis sifat spektral dari sinyal ucapan. Algoritma transformasi Fourier cepat umumnya digunakan untuk mendapatkan frekuensi spektral dari sinyal ucapan [38,39].
3.6. Normalisasi Frekuensi Spektral
Seluruh proses komputasi dalam algoritma cerdas didasarkan pada pemindahan angka desimal. Oleh karena itu, parameter objek yang diklasifikasikan menggunakan jaringan saraf terbatas pada rentang [{{0}}.0, 1.0]. Spektrum yang dihasilkan dinormalisasi antara 0 dan 1 untuk menerapkan pemrosesan spektral menggunakan jaringan saraf. Untuk mencapai ini, setiap komponen vektor dibagi menjadi komponen maksimumnya.
Metode pemrosesan spektral memungkinkan penggunaan semua sampel data yang diperoleh dari sinyal ucapan. Banyak sinyal ucapan memiliki struktur frekuensi dan sifat spektral tertentu. Metode spektral memberikan pemrosesan sinyal ucapan dengan presisi tinggi. Kelemahan pemrosesan spektral termasuk flfleksibilitas rendah dalam karakteristik lokal sinyal, kurangnya dimensi spektral, dan biaya komputasi yang relatif tinggi.
Transformasi Fourier, analisis wavelet, dan banyak algoritma lainnya digunakan secara luas dalam pemrosesan spektral sinyal suara. Transformasi Fourier digunakan di banyak bidang ilmu, termasuk pemrosesan ucapan. Dalam pemrosesan sinyal suara, transformasi Fourier mengubah sinyal dari medan waktu menjadi medan spektral sebagai komponen frekuensi [40].
Dalam studi sebelumnya, transformasi Fourier diskrit (DFT), transformasi kosinus diskrit (DCT), transformasi Fourier jangka pendek, dan transformasi wavelet diterapkan untuk analisis spektral. Metode ini digunakan untuk mengubah fragmen sinyal suara menjadi domain frekuensi dan menghitung spektrumnya. Paket TBB dan OpenMP digunakan untuk membuat algoritme paralel untuk transformasi spektral. Dalam metode ini, perintah membagi sinyal menjadi bingkai; misalnya, N=16, 32, …, atau 4096 untuk setiap frame [4]. Ukuran setiap frame yang dibuat sama dengan ukuran blok memori cache karena memori cache merupakan faktor yang mempengaruhi efisiensi pemrosesan paralel. Hasil percepatan digambarkan dalam Figue2.
Gambar 2. Hasil akselerasi untuk (a) empat dan (b) prosesor delapan inti.
Untuk implementasi perangkat lunak dari algoritma pemrosesan paralel, pemrosesan serial dan paralel dilakukan pada prosesor empat dan delapan inti, yang diterapkan menggunakan komputer pribadi dan server, seperti yang tercantum dalam Tabel 1.
Tabel 1. Karakteristik prosesor Intel.
Fitur utama dari algoritma DCT adalah periodisitas. Keuntungan DCT adalah cenderung memusatkan sebagian besar energi sinyal pada sejumlah kecil faktor. Persamaan berikut memberikan elemen matriks koefisien:
di mana L(k) adalah nilai DCT, k adalah indeks koefisien, x(n) mewakili item data, dan N adalah ukuran bingkai.
Parameter analisis Fourier adalah dasar dari metode yang digunakan untuk menghasilkan vektor fitur di sebagian besar sistem pengenalan ucapan dalam pemrosesan digital sinyal ucapan dalam domain spektral. Koefisien cepstral frekuensi mel (MFCCs) [41] dan teknik pengkodean prediktif linier (LPC) [42,43] digunakan dalam analisis Fourier untuk menghasilkan gambar spektogram dari sinyal suara. Spektrum yang diperoleh dengan menggunakan analisis Fourier memberikan informasi yang ringkas dan tepat mengenai sinyal ucapan, seperti yang diilustrasikan pada Gambar 3.
Gambar 3. DFT: (a) perubahan rentang frekuensi dalam domain waktu dan (b) spektogram.
Sinyal dua dimensi (2D) digunakan untuk analisis spektral dalam percobaan. Karakteristik analisis spektral 2D yang digunakan dalam algoritma pemrosesan gambar paralel cocok untuk pemrosesan paralel dalam prosesor multicore [38]. Secara khusus, vektor dan matriks transformasi maju dan mundur memiliki dimensi biner, dan kompatibilitas arsitektur prosesor multicore ini dapat secara efektif meningkatkan kecepatan komputasi. Oleh karena itu, kami menerapkan pemrosesan sekuensial dan paralel pada komputer dengan karakteristik prosesor berbeda untuk implementasi perangkat keras dari algoritme yang digunakan untuk memproses sinyal 2D (Tabel 2)
Tabel 2. Karakteristik penerapan prosesor Intel.
Seluruh sinyal 2D dibagi menjadi fragmen identik dengan ukuran berbeda pada setiap tahap [44]. Nilai-nilai fragmen yang dipilih adalah antara resolusi piksel 16 × 16 dan 1024 × 1024. Kecepatan algoritma DCT paralel menggunakan paket OpenMP dibandingkan dengan algoritma sekuensial disajikan pada Gambar 4. Penggunaan analisis spektral 2D paralel algoritma pada prosesor multicore menghasilkan hasil overclocking yang mendekati jumlah core.
Gambar 4. Hasil percepatan untuk analisis spektral paralel 2D.
