Saya mencoba belajar dari tutor AI. Tes lebih baik dinilai pada kurva.

Ini adalah yang pertama dari seri empat bagian yang menguji pembantu pekerjaan rumah bertenaga AI baru.

Pada daftar pasokan sekolah untuk tahun ajaran 2025-2026: laptop baru, kantong untuk larangan telepon sekolahdan (semoga) cukup Ai Literasi.

Apakah siswa menyukainya atau tidak, AI menjadi tertanam dalam pendidikan. Sekolah menengah, perguruan tinggi, bahkan sekolah dasar memasukkannya ke dalam kurikulum mereka, sementara pemukul terberat AI membuat taruhan besar pada pendidikan, berharap untuk menumbuhkan a hubungan yang sangat terjalin antara pelajar muda dan kecerdasan buatan. Openai, Google, dan Claude telah meluncurkan versi pembelajaran dan pembelajaran baru dari model mereka, dinyalakan sebagai tutor AI untuk massa. Google for Education, lengan teknologi pendidikan perusahaan, telah membuat poros yang tajam ke AI, termasuk membagikan rencana Google AI Pro gratis kepada mahasiswa di seluruh dunia – Microsoft Dan Openai telah melakukan hal yang sama. Pengembang AI telah menulis kesepakatan kekuatan pendidikan utama Itu akan melihat teknologi mereka dan prinsip -prinsipnya lebih jauh diintegrasikan ke dalam pengaturan sekolah.

Jadi, saya, seorang reporter teknologi yang telah mengikuti transisi AI ini, memutuskan untuk menguji kohort bot tutor terbaru dan melihat bagaimana mereka bernasib melawan lawan bersejarah – pengujian standar.

Beberapa peringatan: Saya belum berada di kelas persiapan sekolah menengah atau perguruan tinggi Sehat Lebih dari satu dekade, dan sementara saya telah kuliah beberapa kali sekarang, tidak satu gelar yang melibatkan kelas matematika. “Kamu seorang reporter teknologi!” Anda mungkin mengatakan, “Jelas, Anda tahu lebih dari rata-rata Joe tentang sains atau pengkodean atau bidang subjek berbasis angka lainnya!” Saya seorang gadis kata -kata, membayar tunai yang dingin dan keras untuk pergi ke sekolah jurnalisme pada tahun 2018. Jadi, ternyata, saya bisa berdiri untuk belajar banyak dari tutor AI ini … yaitu, jika mereka benar -benar pandai dalam pekerjaan mereka.

Bagaimana Saya Mendekati Teman Studi AI Saya

Saya menarik pertanyaan langsung dari Ujian Bupati New York dan Standar Inti Umum Negara Bagian New York, Ujian Persiapan Perguruan Tinggi Penempatan Lanjutan (AP) dari tahun 2024, dan kurikulum ilmu sosial dari program Pembelajaran Gratis untuk Keadilan Pusat Kemiskinan Selatan (SPLC).

Alih-alih tetap dengan matematika standar atau keterampilan komputer yang diminta yang digunakan banyak perusahaan AI untuk mempromosikan chatbots mereka, saya menyertakan banyak pertanyaan humaniora-yang disebut ilmu “lembut”. Subjek seperti pemahaman membaca, sejarah seni, dan studi sosial-budaya, dibandingkan dengan contoh STEM yang lebih umum, telah terbukti menjadi area medan pertempuran bagi para pendukung dan kritikus AI. Juga, terus terang, saya hanya tahu lebih banyak tentang hal -hal itu.

Saya memahami satu prompt esai menggunakan konsep inti dari pembelajaran untuk keadilan – sebuah unit yang menganalisis Warna Hukum oleh Richard Rothstein, berfokus pada pemisahan yang dilembagakan – untuk menunjukkan bagaimana tutor AI dapat menanggapi Serangan administrasi presiden terhadap “bangun ai.” Spoiler: Bergantung pada distrik sekolah Anda, chatbot dapat mengajari Anda lebih banyak sejarah “bangun” daripada pendidik manusia Anda.

Untuk membuatnya adil, saya memulai setiap percakapan dengan prompt dasar meminta pekerjaan rumah atau membantu membantu. Saya memilih untuk tidak memberikan informasi terperinci tentang tingkat kelas, usia, kursus, atau keadaan tinggal siswa saya kecuali jika chatbot bertanya. Saya juga mencoba mengikuti garis pemikiran chatbot sebanyak mungkin tanpa gangguan – seperti halnya seorang siswa untuk tutor atau guru manusia – sampai tidak lagi terasa membantu dan saya perlu mengarahkan kembali percakapan.

Ini, saya harap, akan meniru tujuan siswa “rata -rata” saat menggunakan tutor AI: untuk menyelesaikan pekerjaan mereka.

Sebelum kita menyelam: Catatan tentang membangun dan menguji tutor AI

Memahami perilaku rata -rata siswa adalah kunci untuk memutuskan apakah seorang tutor AI benar -benar melakukan tugasnya, kata Hamsa Bastani, associate professor di sekolah Wharton University of Pennsylvania dan seorang peneliti di bidang ini. “Di sana [are] siswa yang sangat termotivasi, dan kemudian di sana [are] Siswa khas Anda, “Bastani menjelaskan. Studi sebelumnya telah menunjukkan keuntungan, bahkan jika hanya minimal, di antara siswa yang sangat termotivasi yang menggunakan teknologi tersebut dengan benar,” karena tujuan mereka adalah belajar daripada mendapatkan A atau menyelesaikan masalah ini dan melanjutkan. “Tetapi itu biasanya mencerminkan 5 persen teratas dari kumpulan siswa.

Ini adalah bagian dari pengamatan berulang yang menciptakan “masalah lima persen,” which has pervaded education tech design for years. In studies of tools designed to help students improve learning scores, including those by forerunner Khan Academy, only about 5 percent of tested students reported using the tools “as recommended” and thus received the intended learning benefits. The other 95 percent showed few gains. That 5 percent is also frequently composed of higher income, higher-performing individuals, reiterated Bastani, meaning even the best tools are unlikely to serve the majority of pelajar.

Bastani ikut menulis yang sangat dikutip belajar Pada potensi bahaya AI chatbots berpose untuk belajar hasil. Timnya menemukan hasil yang mirip dengan studi AI pra-generatif. “Siswa yang sangat baik, mereka dapat menggunakannya, dan kadang -kadang mereka bahkan membaik. Tetapi bagi sebagian besar siswa, tujuan mereka adalah menyelesaikan tugas, jadi mereka benar -benar tidak mendapat manfaat.” Tim Bastani membangun alat pembelajaran AI mereka menggunakan GPT-4, sarat dengan 59 pertanyaan dan permintaan pembelajaran yang dirancang oleh seorang guru yang disewa yang menunjukkan bagaimana ia akan membantu siswa melalui kesalahan umum. Mereka menemukan bahwa bahkan untuk siswa yang dibantu AI yang melaporkan pengalaman belajar yang jauh lebih efektif daripada mereka yang melakukan belajar sendiri, sedikit yang berkinerja lebih baik daripada pelajar tradisional pada ujian tanpa bantuan AI.

Informasi dengan sendirinya tidak cukup.

Di seluruh papan, Bastani mengatakan dia belum menemukan chatbot AI generatif yang “benar -benar bagus” dibangun untuk belajar. Dari studi yang telah dilakukan, sebagian besar negatif atau diabaikan sejauh peningkatan pembelajaran.

Sains sepertinya belum ada di sana. Dalam kebanyakan kasus, untuk mengubah model yang ada menjadi tutor AI berarti hanya memberi makan lebih lama di back-end memastikan tidak mengeluarkan jawaban segera atau bahwa itu meniru irama seorang pendidik, saya belajar dari Bastani. Ini pada dasarnya apa yang dilakukan timnya dalam tesnya. “Perlindungan [AI companies] telah diterapkan [on not just revealing answers] tidak bagus. Mereka sangat lemah sehingga Anda bisa menyiasati mereka dengan sedikit atau tanpa usaha, “tambah Bastani.” Tapi saya pikir perusahaan teknologi besar, seperti Openai, mungkin dapat melakukan lebih baik dari itu. “

Dylan Arena, Kepala Ilmu Data dan Petugas AI untuk perusahaan pendidikan berusia seabad McGraw Hill, memberi saya metafora ini: Perusahaan AI seperti pengusaha pergantian abad ini yang telah menemukan motor abad ke-21. Sekarang mereka mencoba menemukan cara untuk memperbaiki motor itu untuk kehidupan kita sehari -hari, seperti mesin Hemi dengan mesin jahit menempel di sana.

Arena, yang latar belakangnya dalam belajar sains dan yang telah memimpin inisiatif AI di McGraw Hill, mengatakan kepada saya bahwa perusahaan gagal untuk benar -benar mempersiapkan pengguna untuk era teknologi baru ini, yang mengubah akses kami ke informasi. “Tetapi informasi dengan sendirinya tidak cukup. Anda perlu informasi itu untuk disusun dengan cara tertentu, didasarkan pada cara tertentu, berlabuh dalam ruang lingkup dan urutan. Perlu terikat pada dukungan pedagogis.”

“Mereka telah melakukan sangat sedikit pekerjaan yang memvalidasi alat -alat ini,” kata Bastani. Beberapa perusahaan AI terkemuka telah menerbitkan studi yang kuat tentang penggunaan pembelajaran chatbots di pengaturan sekolah, katanya, mengutip adil Satu laporan dari antropik Itu melacak kasus penggunaan mahasiswa. Pada tahun 2022, Google mengadakan sekelompok pakar, ilmuwan, dan pakar pembelajaran AI, menghasilkan penciptaan pembelajaran – mereka kemudian menguji model tersebut dengan sekelompok pendidik yang mensimulasikan interaksi siswa dan memberikan umpan balik, seperti yang diluncurkan dengan Gemini 2.5.

“Proses Anda mungkin tidak jauh berbeda dari jenis ‘status seni’ yang kita miliki sekarang, untuk apa nilainya,” kata Bastani. Mari kita lihat apakah hasil saya bervariasi.

Chatgpt: maximizer poin nilai

Saya mulai dengan pria besar di ruangan: chatgpt Mode belajar, yang saya jalankan di GPT-5 menggunakan akun standar dan gratis. Pengguna dapat menyalakan mode belajar dengan mengklik tanda “Plus” di bagian bawah kotak obrolan. Perusahaan mengumumkan fitur baru pada bulan Juli, dengan mengatakan itu dirancang untuk “memandu siswa untuk menggunakan AI dengan cara yang mendorong pembelajaran yang benar dan lebih dalam.”

Prompt pertama yang saya lemparkan ke bot ini adalah tangkapan layar dari masalah divisi panjang polinomial yang saya tarik dari Bagian Aljabar II ujian Bupati Negara Bagian New York. ChatGPT mencatat waktu divisi panjang polinomial, menanyakan apakah saya telah melakukan masalah seperti ini sebelum atau apakah saya membutuhkan walk-through. Saya menjawab, “Saya tidak pandai matematika.” [If a chatbot asked my grade, I said I was a rising Junior, or finishing 10th grade, approximately.]

Yang terjadi selanjutnya adalah penjelasan langkah demi langkah, meskipun dengan banyak pegangan tangan. Jika saya tahu langkah selanjutnya dan menjawab dengan benar, tutor saya berlanjut dalam kondisi yang baik. Jika saya mendapat sesuatu yang salah, atau mengajukan pertanyaan, itu akan dengan cepat memberi saya jawabannya dan memindahkan saya. Tidak ada kesempatan bagi saya untuk mencoba lagi, atau tawaran untuk melakukan masalah latihan sehingga saya bisa memakukan konsepnya. Kadang -kadang memberi saya jawabannya, lalu meminta saya untuk mengulangi langkah -langkahnya sendiri, dengan jawaban di depan saya. Tentu saja, saya juga tidak bisa menunjukkan pekerjaan saya. Pena dan kertas tidak ada di sini.

Dan kemudian obrolan kami berakhir. Saya tidak bisa melanjutkan karena, dengan menjatuhkan tangkapan layar awal itu, saya telah mencapai batas harian gratis saya.

Siswa saya sudah mengatasinya.

Selanjutnya, saya mengajukan pertanyaan tentang ekologi dari 2024 Ujian Biologi AP. Chatgpt bertanya kepada saya apa subjek tes biologi saya (variasi) dan gaya tes apa yang saya ambil (tanggapan gratis). Meskipun saya mengatakan saya memiliki ujian latihan untuk dikerjakan, tutor AI membimbing saya melalui apa yang hanya dapat saya gambarkan sebagai sesi umpan balik pengguna, di mana bot menjelaskan apa yang bisa dilakukan dalam ujian dan mendorong saya untuk melakukan “pemanasan cepat.” Ia bertanya, “Ketika Anda melihat ‘Ekologi’ pada AP Bio Frq, apa dua ide besar yang Anda harapkan mungkin muncul? (Misalnya, ‘rantai makanan’ atau ‘kurva pertumbuhan populasi.’)”

Itu memberi saya pertanyaan jawaban pendek berbasis subjek yang luas dan berbasis subjek. Saya belum memberikan tes saya sendiri. Pada saat kami sampai pada titik dalam pengujian latihan di mana wajar bagi saya untuk akhirnya berbagi pertanyaan latihan saya sendiri, diri siswa saya sudah mengatasinya.

Ke subjek pilihan saya. Saya kembali meminta chatgpt untuk membantu saya berlatih untuk bagian Ujian Bupati Bahasa Inggris Bahasa Bahasa Inggris, kali ini Pilihan ganda dan pertanyaan respons gratis Pada cerita pendek penulis Ted Chiang, “The Great Silence.” Menariknya, chatgpt sepertinya tahu persis apa yang saya bicarakan, menarik format pertanyaan umum dan subjek untuk tes Bupati. “Saya dapat memandu Anda melalui cara menganalisisnya, menemukan jawabannya, dan menjelaskan alasannya sehingga Anda akan merasa percaya diri melakukannya sendiri,” katanya. Kemudian, chatbot mengatakan itu menggunakan tolok ukur dan formula bupati yang tepat untuk membantu saya mendapatkan respons “terbaik”. Mungkinkah ini menang bagi mereka yang belajar untuk tes standar?

Selama sesi, itu dengan cepat kembali ke cara lamanya. ChatGPT segera memberi saya apa yang menurutnya merupakan poin sentral, tema, dan argumen penulis untuk pekerjaan Chiang. Setelah itu disortir atas nama saya, ia ingin menyelami banyak pertanyaan pilihan dan kemudian menawarkan beberapa pertanyaan tanggapan gratisnya sendiri – lagi. Baiklah, tidak apa -apa, tapi bagaimana dengan pertanyaan yang saya datangi? Pada akhirnya, itu memberi tahu saya e Xactly cara mendapatkan kredit penuh. Tetapi apakah itu benar -benar benar pada ujian ELA? Saya kira tidak demikian.

Bisakah chatbot membantu saya belajar untuk ujian sejarah seni AP ultra-subyektif? Saya mencobanya, menarik pertanyaan tentang karya Faith Ringgold Tar Beach #2 dari Tes Sejarah Seni 2024 AP. Saya memilih ini dengan sengaja, karena Dewan Perguruan Tinggi menerbitkan contoh jawaban poin penuh-dan itulah yang akan saya berikan kepada chatbots.

Sekali lagi, ChatGPT mencoba memulai saya dengan pertanyaan-pertanyaan sendiri. “Begini cara saya ingin kami bekerja,” katanya. Memutuskan saya tidak ingin melalui metode belajar bundar yang sama dari contoh-contoh sebelumnya, saya menjauhkannya: Saya ingin berlatih dengan respons bebas yang nyata. Setelah memberikan respons jawaban pendek empat bagian sampel AP tes, ChatGPT memberi tahu saya bahwa itu adalah “draft yang kuat” dan 4 atau 5 pada rubrik 5 poin tes.

Tapi saya memberi makan, menurut siswa kelas yang sebenarnya, jawaban “sempurna”. Jadi mengapa, kemudian, apakah itu memberi tahu saya bahwa saya perlu memaksimalkan tulisan saya untuk poin penuh? Saya bisa menggunakan yang lebih baik Kosakata senikatanya, dan tambahkan lebih banyak tentang bagaimana ringgold menggabungkan teks dan gambar. Itu juga mengoreksi tata bahasa, sementara yang lain tidak. Ini mungkin terdengar menarik bagi pengguna yang berfokus pada membersihkan tulisan mereka, tetapi tata bahasa bukanlah metrik penilaian untuk tes AP, itu lebih tertarik pada cara Anda berpikir (sesuatu chatbots, jelas, tidak bisa dilakukan). Setelah beberapa versi, itu mulai menjadi pedantic, menulis ulang tanggapan saya sendiri dengan suaranya sendiri untuk memberikan aliran yang lebih baik. Tentu, Bud.

Akhirnya, saya menekan chatgpt dengan topik yang saya tarik dari belajar untuk kurikulum keadilan: seberapa awal hukum abad ke-20 menyebabkan diskriminasi perumahan dan pemisahan komunitas kulit hitam. Jika saya belajar satu hal, chatgpt itu mengejutkan sedikit untuk membantu Anda membuat esai. Saya bisa merasakan chatbot mengeluarkan air liur karena menghasilkan garis-garis yang dikeluarkan dan karya-karya yang dikutip oleh karya-halaman yang dikutip untuk esai yang bahkan belum saya tulis. Dengan sedikit dorongan, itu memberi saya kalimat topik dan penawaran untuk menunjukkan kepada saya di mana saya dapat memasukkan referensi kepada para ahli dan artikel. Saya pada dasarnya memberikan sedikit informasi tentang nilai atau tingkat pengetahuan saya, atau topik apa yang sebenarnya saya pelajari di kelas. Itu tidak memiliki masalah dengan subjek – menyebutnya sebagai “prompt yang sangat kuat dan penting” – dan sumber -sumbernya benar -benar diperiksa, bahkan menarik dari materi pusat pertanyaan, Warna Hukumyang belum saya sebutkan.

Tapi secara keseluruhan, saya harus sering menyela. Bisakah kita melihat pertanyaan dan catatan yang sudah saya ambil dan tanggapan yang telah saya selesaikan, MX. Tutor Chatbot? Tolong fokuskan pada saya.

“Tentu saja,” jawab Chatgpt. “Itu praktik yang lebih baik.”

Menyimpulkannya

Pros Mode Studi ChatGPT: Interaksi yang ringkas dan pengalaman pengguna minimalis yang membuatnya lebih mudah untuk memproses apa yang Anda pelajari. Tes latihan yang lebih baik, ikhtisar cepat, dan dibangun untuk pelajar yang mencari klarifikasi tentang rubrik dan standar penilaian.

Kontra: Penipu, penipu, pemakan labu. Akan sering memberikan jawaban, tanpa kompromi, dan gagal membiarkan pengguna memperbaiki kesalahan sebelum memindahkannya ke langkah berikutnya. Pengalaman frustasi menggunakan ini untuk pertanyaan gaya respons gratis, dan chatbot terobsesi untuk membuat pengguna berlatih dan menyempurnakan apa yang baru saja mereka “pelajari.”

Penasaran Hasil Gemini? Anda mungkin terkejut.