Tín hiệu Phần thưởng Dự đoán của Các Nơron Dopamine

Journal of Neurophysiology - Tập 80 Số 1 - Trang 1-27 - 1998
Wolfram Schultz1
11 Institute of Physiology and Program in Neuroscience, University of Fribourg, CH-1700 Fribourg, Switzerland

Tóm tắt

Schultz, Wolfram. Tín hiệu phần thưởng dự đoán của các nơron dopamine. J. Neurophysiol. 80: 1–27, 1998. Các tác động của tổn thương, chặn thụ thể, tự kích thích điện, và các loại thuốc gây nghiện cho thấy rằng các hệ thống dopamine ở giữa não có liên quan đến việc xử lý thông tin phần thưởng và học hỏi hành vi tiếp cận. Hầu hết các nơron dopamine thể hiện sự kích hoạt pha sau các phần thưởng chất lỏng và thực phẩm cơ bản và các kích thích thị giác và thính giác đã được điều kiện hóa, dự đoán phần thưởng. Chúng thể hiện các phản ứng kích hoạt-ức chế hai pha sau các kích thích giống các kích thích dự đoán phần thưởng hoặc là mới lạ hoặc đặc biệt nổi bật. Tuy nhiên, chỉ có một vài sự kích hoạt pha theo sau các kích thích khó chịu. Do đó, các nơron dopamine gán nhãn các kích thích môi trường với giá trị hấp dẫn, dự đoán và phát hiện các phần thưởng và đưa ra tín hiệu cảnh báo và động lực cho các sự kiện. Bằng cách không phân biệt giữa các phần thưởng khác nhau, các nơron dopamine dường như phát đi một thông điệp cảnh báo về sự hiện diện hoặc vắng mặt đầy bất ngờ của các phần thưởng. Tất cả các phản ứng đối với phần thưởng và kích thích dự đoán phần thưởng phụ thuộc vào độ dự đoán của sự kiện. Các nơron dopamine được kích hoạt bởi các sự kiện thưởng tốt hơn dự đoán, giữ nguyên không bị ảnh hưởng bởi các sự kiện tốt như dự đoán, và bị ức chế bởi các sự kiện tồi hơn dự đoán. Bằng cách tín hiệu phần thưởng theo lỗi dự đoán, các phản ứng dopamine có các đặc điểm hình thức của một tín hiệu giảng dạy mà các lý thuyết học củng cố đã giả định. Các phản ứng dopamine chuyển giao trong suốt quá trình học từ các phần thưởng cơ bản sang các kích thích dự đoán phần thưởng. Điều này có thể góp phần vào các cơ chế neuron dưới đây tác động ngược của các phần thưởng, một trong những câu đố chính trong việc học củng cố. Phản ứng xung phát ra một xung dopamine ngắn lên nhiều nhánh, do đó phát sóng một tín hiệu củng cố khá toàn cầu đến các nơron hậu synap. Tín hiệu này có thể cải thiện hành vi tiếp cận bằng cách cung cấp thông tin phần thưởng trước khi hành vi xảy ra và có thể góp phần vào việc học bằng cách thay đổi truyền dẫn synap. Tín hiệu phần thưởng dopamine được bổ sung bởi hoạt động trong các nơron ở striatum, vỏ não trán, và amygdala, những vùng xử lý thông tin phần thưởng cụ thể nhưng không đưa ra tín hiệu lỗi dự đoán phần thưởng toàn cầu. Sự hợp tác giữa các tín hiệu phần thưởng khác nhau có thể đảm bảo việc sử dụng các phần thưởng cụ thể để củng cố một cách chọn lọc các hành vi. Giữa các hệ thống chiếu sáng khác, các nơron noradrenaline chủ yếu phục vụ cho các cơ chế chú ý và các nơron hạt nhân basalis mã hóa phần thưởng một cách dị biệt. Các sợi leo trong tiểu não tín hiệu lỗi trong hiệu suất motor hoặc lỗi trong việc dự đoán các sự kiện khó chịu đến các tế bào Purkinje của tiểu não. Hầu hết các khiếm khuyết sau khi tổn thương làm giảm dopamine khó có thể giải thích dễ dàng bằng một tín hiệu phần thưởng thiếu sót nhưng có thể phản ánh sự thiếu vắng của một chức năng cho phép chung của mức dopamine ngoại bào tĩnh. Do đó, các hệ thống dopamine có thể có hai chức năng, truyền tải pha thông tin phần thưởng và cho phép tĩnh cho các nơron hậu synap.

Từ khóa


Tài liệu tham khảo

10.1111/j.1471-4159.1989.tb09224.x

10.1007/BF00421027

10.1146/annurev.ne.09.030186.002041

10.1523/JNEUROSCI.07-07-02129.1987

10.1111/j.1748-1716.1966.tb03317.x

10.1006/neur.1996.0018

10.1523/JNEUROSCI.14-06-03969.1994

10.1016/0304-3940(96)12328-4

10.1007/PL00005773

10.1007/BF00231732

10.1152/jn.1992.68.3.945

10.1007/BF00230981

10.1016/S0079-6123(08)61356-4

10.1523/JNEUROSCI.01-08-00887.1981

10.1016/S0306-4522(97)00060-2

10.1523/JNEUROSCI.14-07-04467.1994

10.1109/TSMC.1985.6313371

10.1109/TSMC.1983.6313077

10.1016/0165-0173(83)90038-3

10.1016/0361-9230(89)90223-2

10.1007/BF00210842

10.1126/science.6857251

10.1523/JNEUROSCI.12-06-02079.1992

10.1002/cne.902730109

10.1523/JNEUROSCI.15-12-07821.1995

10.1007/BF00232192

10.1037/h0025306

10.1152/jn.1992.67.5.1185

10.1016/0306-4522(93)90488-2

10.1016/0306-4522(91)90343-M

10.1037/h0033120

10.1152/jn.1996.75.3.1061

10.1016/0006-8993(84)90239-7

10.1016/0306-4522(83)90138-0

10.1126/science.112679

10.1016/0006-8993(96)00424-6

10.1523/JNEUROSCI.12-11-04224.1992

10.1111/j.1460-9568.1992.tb00119.x

10.1523/JNEUROSCI.17-12-04536.1997

10.1016/0028-3932(89)90167-X

10.1073/pnas.90.20.9576

10.1152/jn.1995.74.3.1343

10.1152/jn.1998.79.1.82

10.1016/0306-4522(94)90465-0

10.1016/0306-4522(84)90058-7

10.1016/0014-2999(87)90592-9

10.1016/0006-8993(87)91150-4

10.1016/0306-4522(87)90176-X

10.1016/0006-8993(88)90652-X

Contreras-Vidal J. L., 1996, Soc. Neurosci. Abstr., 22, 2029

10.1016/0006-8993(80)90666-6

10.1016/0306-4522(93)90510-M

10.1093/cercor/1.1.62

10.1007/BF00603975

10.1523/JNEUROSCI.03-08-01599.1983

10.1002/(SICI)1096-9861(19961111)375:2<167::AID-CNE1>3.0.CO;2-0

10.1016/0376-8716(95)01118-I

10.3758/BF03199951

10.1037/0097-7403.2.4.313

10.1016/0006-8993(92)91639-V

10.1162/jocn.1995.7.3.311

10.1016/0306-4522(86)90272-1

10.1016/0306-4522(94)90466-9

10.1037/h0077391

10.1007/s002130050284

10.1016/S0149-7634(89)80018-1

10.1177/105971239200100102

10.1523/JNEUROSCI.07-12-03888.1987

10.1016/0306-4522(77)90120-8

10.1016/0006-8993(88)90924-9

10.1523/JNEUROSCI.13-03-01120.1993

10.1523/JNEUROSCI.14-02-00599.1994

10.1002/ana.410040112

10.1073/pnas.77.5.3033

10.1016/0306-4522(84)90294-X

10.1016/0006-8993(90)91578-5

10.1016/0306-4522(94)90592-4

10.1007/BF02381018

10.1016/0006-8993(76)90809-X

10.1016/0168-0102(94)00869-H

10.1016/0005-1098(89)90002-2

10.1097/00001756-199204000-00017

10.1016/0006-8993(88)90606-3

10.1523/JNEUROSCI.14-10-06084.1994

10.1016/0306-4522(94)90606-8

10.1523/JNEUROSCI.14-01-00442.1994

10.1038/311461a0

10.1126/science.2147780

10.1016/0306-4522(88)90320-X

10.1016/0006-8993(77)90997-0

10.1038/379606a0

10.1073/pnas.86.22.9015

10.1016/0306-4522(88)90307-7

10.1523/JNEUROSCI.17-15-05972.1997

10.1002/cne.902970203

10.1016/0306-4522(91)90196-U

10.1016/0006-8993(85)91581-1

10.1126/science.8091209

10.1002/cne.902930210

10.1002/cne.903290108

10.1038/366059a0

10.1016/0306-4522(83)90169-0

10.1002/cne.901620406

10.1002/cne.903040406

10.1523/JNEUROSCI.17-09-03334.1997

10.1046/j.1471-4159.1996.66041726.x

10.1523/JNEUROSCI.15-07-05222.1995

10.1016/0006-8993(82)90608-4

10.1152/jn.1989.61.4.814

Hollerman J. R., 1996, Soc. Neurosci. Abstr., 22, 1388

Hollerman J. R., 1994, Soc. Neurosci. Abstr., 20, 780

10.1016/0304-3940(86)90038-8

10.1126/science.7679223

10.1016/S0006-8993(97)00265-5

10.1017/S0140525X00081474

10.1093/jn/127.5.777

10.1007/BF00227776

10.1146/annurev.ne.12.030189.000505

10.1016/0166-2236(93)90090-9

10.1007/BF00248855

10.1115/1.3662552

10.1016/0306-4522(92)90470-M

10.1152/jn.1989.62.5.1052

10.1016/0166-2236(92)90008-V

10.1016/0304-3940(86)90360-5

10.1126/science.273.5280.1399

10.1159/000123779

10.1016/0006-8993(79)90259-2

10.1152/physrev.1991.71.1.155

10.1073/pnas.90.19.8861

Linden A., 1990, J. Psychophysiol., 4, 145

10.1016/0006-8993(91)90816-E

10.1152/jn.1992.67.1.145

10.1016/0959-4388(93)90168-X

10.1002/cne.901820309

10.1016/0006-8993(86)90646-3

10.1037/0097-7403.9.3.225

10.1152/jn.1993.70.5.1937

10.1002/cne.903450407

10.1037/h0076778

10.1126/science.7916485

10.1113/jphysiol.1969.sp008820

10.1016/0306-4522(90)90187-9

10.1152/jn.1992.67.6.1615

10.1152/jn.1992.68.4.1332

10.1093/cercor/1.4.293

10.1523/JNEUROSCI.04-11-02811.1984

10.1016/0304-3940(85)90270-8

10.1073/pnas.93.16.8683

10.1523/JNEUROSCI.13-04-01460.1993

10.1016/0024-3205(81)90231-9

10.1016/0301-0082(90)90005-2

10.1152/jn.1994.72.2.1024

10.1038/379449a0

10.1007/BF00249793

10.1016/0006-8993(79)90331-7

10.1038/377725a0

10.1523/JNEUROSCI.16-05-01936.1996

Montague P. R., 1994, Learn. Memory, 1, 1, 10.1101/lm.1.1.1

10.1126/science.897677

10.1073/pnas.93.3.1325

10.1152/jn.1992.67.6.1447

10.1038/333174a0

10.1016/0006-8993(88)90760-3

10.1016/0006-8993(79)90328-7

10.1523/JNEUROSCI.16-02-00436.1996

10.1523/JNEUROSCI.08-10-03556.1988

10.1016/0006-8993(87)91021-3

10.1152/jn.1992.68.6.2222

10.1037/h0058775

10.1002/(SICI)1096-9861(19960318)366:4<580::AID-CNE3>3.0.CO;2-0

10.1523/JNEUROSCI.16-23-07478.1996

10.1037/0735-7044.105.2.295

10.1093/brain/115.1.211

10.1037/0033-295X.87.6.532

10.1111/j.1460-9568.1993.tb00475.x

10.1016/0006-8993(75)90998-1

10.1016/0006-8993(76)90615-6

10.1037/h0081676

10.1007/BF00426039

10.1016/0006-8993(81)90843-X

10.1523/JNEUROSCI.01-11-01242.1981

10.1162/neco.1997.9.4.721

10.1016/0006-8993(86)90371-9

10.1016/0006-8993(86)90370-7

10.1016/0006-8993(86)91529-5

10.1523/JNEUROSCI.10-08-02528.1990

10.1016/0306-4522(89)90168-1

10.1016/1044-5765(92)90010-Y

10.1016/S0959-4388(96)80077-8

10.1016/0165-0173(93)90013-P

10.1016/0166-2236(87)90151-2

10.1037/h0029316

10.1152/jn.1996.75.5.1970

10.1007/BF00227835

10.1152/jn.1990.63.3.592

10.1016/0006-8993(89)91402-9

10.1016/0028-3908(93)90018-X

10.1126/science.2573153

Salamone J. D., 1987, Handbook of Psychopharmacology, 19, 576

10.1007/BF02245133

10.1016/0006-8993(89)90634-3

10.1016/S0079-6123(08)63835-2

10.1126/science.1825731

10.1007/BF00236025

10.1152/jn.1986.56.5.1439

10.1523/JNEUROSCI.13-03-00900.1993

10.1523/JNEUROSCI.12-12-04595.1992

10.1126/science.275.5306.1593

10.1152/jn.1987.57.1.201

10.1152/jn.1990.63.3.607

10.1007/BF00237874

10.1016/0006-8993(91)91276-7

10.1002/cne.902970304

10.1523/JNEUROSCI.14-01-00088.1994

10.1002/cne.903200202

10.1038/286150a0

10.1016/0166-2236(90)90106-K

10.1002/syn.890120406

10.1037/h0026550

10.1002/cne.903440102

10.1002/cne.902960105

10.1016/0306-4522(91)90250-R

10.1002/cne.902940213

10.1016/0006-8993(81)90002-0

10.1002/mds.870100110

10.1073/pnas.89.21.10178

10.1016/0006-8993(88)91282-6

Stein L., 1964, Federation Proc., 23, 836

10.1901/jeab.1994.61-155

10.1016/0006-8993(83)91145-9

10.1046/j.1471-4159.1995.65062603.x

Suri R. E., 1996, Soc. Neurosci. Abstr., 22, 1389

10.1007/BF00115009

10.1037/0033-295X.88.2.135

10.1523/JNEUROSCI.15-04-03092.1995

10.1162/neco.1994.6.2.215

10.1007/BF00235545

10.1016/0306-4522(85)90070-3

10.1002/(SICI)1098-2396(199603)22:3<195::AID-SYN1>3.0.CO;2-7

Tremblay L., 1995, Soc. Neurosci. Abstr., 21, 952

10.1007/BF00230974

10.1111/j.1460-9568.1995.tb01108.x

10.1016/0028-3932(90)90044-O

10.1016/0006-8993(93)90782-I

10.1016/0169-328X(96)00032-0

10.1016/0304-3940(89)90450-3

10.1007/BF00228157

10.1038/382629a0

10.1016/S0149-7634(89)80028-4

10.1146/annurev.ps.43.020192.002303

10.1016/0165-0173(90)90015-G

10.1016/0306-4522(95)00436-M

10.1093/cercor/3.3.199

10.1016/0306-4522(90)90217-R

10.1016/0166-4328(93)90120-F

10.1523/JNEUROSCI.15-07-05169.1995

10.1007/BF00228852

10.1016/0006-8993(90)90546-N

10.1523/JNEUROSCI.10-04-01254.1990

10.1017/S0140525X00010372

10.1016/S0959-4388(96)80079-1

10.1007/BF00431448

10.1002/syn.890100307

10.1146/annurev.ps.40.020189.001203

10.1126/science.566469

10.1002/cne.903570309

10.1152/jn.1997.77.2.1003

10.1016/0006-8993(82)90518-2

10.1016/0306-4522(92)90275-7

10.1016/0306-4522(93)90378-S

10.1016/0306-4522(94)00536-E

Thông tin
Thông tin xuất bản

Journal of Neurophysiology

Tập 80 Số 1

1-27

Thông tin tác giả