Daftar Topik Machine Learning and Computer Vision Lab Semester Ganjil 2026/2027

[Text-to-Gesture SIBI]
TA ini melanjutkan TA sebelumnya yang bertujuan untuk menerjemahkan input kalimat bahasa Indonesia menjadi kalimat SIBI. Ada beberapa hal yang dilakukan pada proses penerjemahan tersebut, antara lain melakukan text summarization, penggantian kata dengan kata yang setara yang ada dalam kamus isyarat SIBI. Kalimat SIBI yang dihasilkan dari proses translasi ini, akan digunakan untuk membangkitkan subtitle berupa animasi gerakan SIBI.

Catatan: Proses pembangkitan animasi 3D berdasarkan kalimat SIBI sudah tersedia

[Imagined Speech]
Penelitian ini berangkat dari tantangan utama pada Brain-Computer Interface (BCI) berbasis EEG untuk imagined speech, yaitu ketidakjelasan waktu onset (temporal onset) dari proses kognitif yang sebenarnya. Pada banyak studi klasifikasi huruf imagined speech EEG, data biasanya dilabeli berdasarkan trial/cue timing, padahal tidak ada jaminan bahwa subjek benar-benar mulai melakukan imagined speech tepat pada waktu tersebut. Hal ini menyebabkan label noise dan berpotensi menurunkan performa model klasifikasi. Oleh karena itu, diperlukan pendekatan event-related detection untuk mengidentifikasi secara lebih presisi kapan sinyal EEG merepresentasikan kondisi rest, cue, atau imagined speech.

Dalam penelitian ini, mahasiswa S1 diharapkan dapat mengembangkan metode untuk mendeteksi dan melakukan segmentasi temporal pada sinyal EEG mentah (raw EEG) guna mengidentifikasi transisi antar kondisi (rest → cue → imagined speech).

Input berupa continuous/raw EEG signal yang masih mengandung berbagai fase eksperimen, sedangkan output yang diharapkan adalah label temporal atau timestamp segment yang menunjukkan kapan masing-masing kondisi terjadi. Pendekatan dapat melibatkan preprocessing (filtering, artifact removal), ekstraksi fitur berbasis waktu/frekuensi, serta metode classification, change-point detection, atau analisis event-related (misalnya ERD/ERS).

Prasyarat yang diperlukan mencakup pemahaman pengolahan sinyal, machine learning (klasifikasi dan evaluasi model), serta dasar EEG/BCI.

[Imagined Speech]
Penelitian ini dilatarbelakangi oleh dua permasalahan utama dalam pengembangan Brain-Computer Interface (BCI) berbasis EEG untuk imagined speech. Pertama, kualitas sinyal EEG yang rendah (low signal-to-noise ratio) membuat performa klasifikasi sangat bergantung pada tahapan preprocessing. Kedua, variabilitas kondisi psikologis partisipan—yang dapat tercermin dari hasil assessment psikiater—diduga turut memengaruhi kualitas data EEG dan konsistensi pola neural yang dihasilkan. Dalam konteks riset klasifikasi huruf pada imagined speech EEG, kedua aspek ini menjadi krusial karena dapat menjelaskan sumber variabilitas performa model yang selama ini sering dianggap sebagai noise semata. • Mahasiswa akan mengerjakan dua fokus utama, yaitu:
1. melakukan perbandingan berbagai teknik preprocessing EEG (seperti filtering, artifact removal, transformasi sinyal, dan normalisasi) untuk mengevaluasi pengaruhnya terhadap kualitas data dan performa klasifikasi imagined speech,
2. menganalisis korelasi antara hasil assessment psikiater dengan kualitas sinyal EEG dan hasil klasifikasi berbasis machine learning. • Input penelitian berupa raw EEG data imagined speech dan data hasil assessment psikiater partisipan, sedangkan output yang diharapkan meliputi pipeline preprocessing optimal, peningkatan performa klasifikasi, serta temuan korelasi atau pola hubungan antara kondisi psikologis dan kualitas data/model. •

Prasyarat yang diperlukan mencakup pemahaman pengolahan sinyal, machine learning (klasifikasi dan evaluasi model), serta dasar EEG/BCI

–

Topik ini berfokus pada pengembangan sistem asesmen psikologis berbasis multimodal social signal processing yang mengintegrasikan data kuesioner, ekspresi wajah, dan karakteristik suara untuk meningkatkan akurasi identifikasi kondisi psikologis. Sistem ini juga dilengkapi dengan fitur psikoedukasi mengenai psychological first aid, psikologi perkembangan, dan resiliensi keluarga. Fitur psikoedukasi ini disajikan dalam bentuk infografis dan gamifikasi sebagai media pembelajaran untuk mendukung peningkatan kapasitas kader dalam melakukan pendampingan pada masyarakat. Sistem dapat dikembangkan dalam bentuk mobile atau desktop app.

Bekerja sama dengan Departemen Radiologi FKUI untuk mengembangkan Automated Radiology Report Generation (ARRG) dari citra CT scans untuk berbagai kasus. Saat ini sudah terkumpul beberapa data CT scan dari RSUI.

Bekerja sama dengan Departemen Radiologi FKUI dan Bedah Plastik Rekonstruksi dan Estetik FKUI untuk melakukan pendeteksian, pengukuran, dan analisa fraktur wajah dari CT scan.

Bekerja sama dengan Departemen Urologi FKUI untuk mengembangkan AI untuk mengklasifikasikan 2 buah gangguan urologi pada pasien pria, yakni BOO dan DUA berdasarkan video/citra cystocopy dan fitir-fitur klinis lainnya (multimodal analysis).

Bekerja sama dengan Departemen Radiologi FKUI untuk penilaian Forced Vital Capacity (FVC) pada pasien SSC-ILD untuk analisa secara kuantitatif dan korelasi.

Bekerja sama dengan Departemen Ob-Gin FKUI untuk mengembangkan model AI untuk menilai status kromosom embrio berdasarkan morfologi dan morfokinetik dari video time-lapse pada fertilisasi in vitro.

Given a natural command, like “Tidy up this table”, a robot then plan the high level actions all the way down to low level motor commands.
We will leverage open-weight LLMs, classic motion planners OMPL, and physics engine Mujoco.

One of newest approaches in RL is to target the distribution of cummulative rewards, rather than their expectation. Here, we will explore the ideas of distribution dynamics programming, then bring them to RL settings. We will begin with small and nice syntetic problems before deadling with complex real world ones.

RL is one of promising approaches to sequencial decision making under uncertainty. The applications of RL include dynamics pricing, inventory mangement, public heath policy making, robotics to name a few. Particularly in robotics, RL becomes the backbone for robot learning, eg learning to walk by trial and error in simulation.

This research investigates how a complete animatable 3D virtual human can be reconstructed using only a single camera input. The study aims to generate realistic digital humans with accurate body shape, appearance, and motion capabilities.

This topic aims to develop a novel 3D pose estimation method using few cameras focuses on recovering accurate full-body human poses in 3D space with minimal camera setups. The research combines multi-view geometry, deep learning, and pose estimation algorithms to reduce hardware complexity while maintaining reliable 3D pose prediction.

This research investigates the use of reinforcement learning (RL) to develop intelligent 3D character control systems that can understand both physical dynamics and environmental conditions. By integrating physics simulation with environment-aware decision making, virtual characters can generate realistic, adaptive, and stable movements while interacting naturally with complex surroundings.

This research investigates camera-based motion capture systems that eliminate the need for wearable markers while still providing clinically accurate gait and movement analysis. It is highly relevant for rehabilitation centers, sports medicine, and elderly mobility assessment.

Global climate change, which is becoming increasingly extreme, directly affects various sectors of life such as agriculture, food, and the environment. Climate models such as Global Climate Models (GCMs) are often used as tools to project climate conditions and their impacts. However, these models have limitations in terms of coarse resolution, making them insufficient as a basis for policymaking. Regional Climate Models (RCMs) are downscaling methods that can transform climate data into higher-resolution outputs, but they require high computational costs.
Deep learning methods can be utilized for estimating and projecting climate models, enabling high-resolution climate impact projections. This can be used to assess impacts across various sectors in Indonesia and serve as a foundation for policymaking.
Some possible modeling approaches include:
– Translation from low resolution to low resolution using different methods along with variable reduction/selection
– Translation from low resolution to high resolution (without pre-processing) using different methods along with variable reduction/selection
– And others.

In collaboration with Departemen Geografi UGM – Crop detection and analysis from various satelite imagery. We will try some classical methods and also more advanced deep learning models to benchmark.

Nowadays, there are many deepfake techniques that can be used to impersonate others or misuse someone’s identity. This trend has accelerated with the rapid development of generative models and related technologies. As an initial study, this topic will explore various characteristics of deepfake images and evaluate and compare several existing detection techniques.