Phân tích trích dẫn đối với chất lượng nghiên cứu của người thực hiện

Scientometrics - Tập 53 - Trang 49-71 - 2002
Ronald N. Kostoff1
1Office of Naval Research [USA]

Tóm tắt

Nền tảng: Phân tích trích dẫn cho các mục đích đánh giá thường yêu cầu chuẩn hóa dựa trên một nhóm kiểm soát gồm các bài báo tương tự. Việc chọn lựa nhóm kiểm soát này vẫn là một câu hỏi mở. Mục tiêu: Nắm bắt rõ hơn về yêu cầu của nhóm kiểm soát cho việc chuẩn hóa đáng tin cậy. Phương pháp: Thực hiện phân tích trích dẫn trên các công trình trước đây của hai đơn vị nghiên cứu đề xuất, nhằm giúp ước lượng chất lượng nghiên cứu của nhóm. So sánh số trích dẫn của các công trình của mỗi đơn vị với số trích dẫn nhận được từ các bài báo tương tự về chủ đề và thời gian. Kết quả: Việc xác định các bài báo tương tự về chủ đề rất phức tạp và tốn nhiều công sức, ngay cả khi chỉ chọn một số lượng nhỏ bài báo kiểm soát. Kết luận: Một phân tích trích dẫn đáng tin cậy để xác định chất lượng người thực hiện hoặc nhóm nghiên cứu cần có các thành phần sau: - Nhiều chuyên gia kỹ thuật để trung bình hóa thiên kiến và chủ quan cá nhân; - Một quy trình so sánh các công trình của người thực hiện hoặc nhóm với một cơ sở chuẩn hóa các bài báo tương tự; - Một quy trình truy xuất một phần lớn các ứng viên bài báo cơ sở chuẩn hóa; Đánh giá thủ công nhiều ứng viên bài báo cơ sở chuẩn hóa để đạt được sự tương đồng chủ đề cao và đại diện thống kê.

Từ khóa

#phân tích trích dẫn #chất lượng nghiên cứu #chuẩn hóa #nhóm kiểm soát #đánh giá nghiên cứu

Tài liệu tham khảo

Albert, M.B., Avery, D., Narin F., Mcallister P. (1991), Direct validation of citation counts as indicators of industrially important patents, Research Policy, 20 (3): 251-259. Braam, R.R., Moed H.F., Van Raan A.F.J. (1988), Mapping of science by combined co-citation and word analysis. 1. Structural aspects, Science Technology & Human Values, 13 (1–2): 97-98. Braam, R.R., Moed, H.F., Van Raan A.F.J. (1991), Mapping of science by combined cocitation and word analysis. 1. Structural aspects, Journal of the American Society for Information Science, 42 (4): 233-251. Davidse, R. J., Van Raan, A. F. J. (1997), Out of particles: Impact of CERN, DESY, and SLAC research to fields other than physics, Scientometrics, 40 (2): 171-193. DOE, An Assessment of the Basic Energy Sciences Program, Office of Energy Research, Office of Program Analysis, Report No. DOE/ER-0123, March 1982. Festschrift (2000), Web of Knowledge-A Festschrift in Honor of Eugene Garfield, ASIST Monograph Series. Garfield, E. (1955), Citation indexes for science-new dimension in documentation through association of ideas, Science, 122 (3159): 108-111. Garfield, E., Sher, I. H. (1963), New factors in evaluation of scientific literature through citation indexing, American Documentation, 14 (3): 195-201. Garfield, E. (1964), Science Citation Index-new dimension in indexing, Science, 144 (361): 649-654. Garfield, E. (1965), Can citation indexing be automated, Statistical Association Methods For Mechanized Documentation Symposium Proceedings, 1964: (Nbs26) 189. Garfield, E. (1966), Patent citation indexing and notions of novelty similarity and relevance, Journal of Chemical Documentation 6 (2): 63-65. Garfield, E. (1970), Citation indexing for studying science, Nature, 227 (5259): 669-671. Geisler, E. (2000), The Metrics of Science and Technology, Quorum Books, Westport, CT. Kostoff, R. N. (1997a), The Handbook of Research Impact Assessment, Seventh Edition, Summer 1997, DTIC Report Number ADA296021. Also, available at http://www.dtic.mil/dtic/kostoff/index.html Kostoff, R. N. (1997b), Peer review: The appropriate GPRA metric for research, Science, 277 (5326): 651-652. Kostoff, R. N. (1997c), Citation analysis cross-field normalization: A new paradigm, Scientometrics, 39 (3): 225-230. Kostoff, R. N., Eberhart, H. J., Toothman, D. R. (1997d), Database tomography for information retrieval, Journal of Information Science, 23 (4) 301-311. Kostoff, R. N. (1998), The use and misuse of citation analysis in research evaluation, Scientometrics, 43 (1): 27-43. Kostoff, R. N. (2000a), The underpublishing of science and technology results, The Scientist, 14 (9): 6. Kostoff, R. N. (2000b), High quality information retrieval for improving the conduct and management of research and development, Proceedings: Twelfth International Symposium on Methodologies for Intelligent Systems, 11–14 October. Kostoff, R. N., Hartley, J. (2001a), Structured abstracts for technical journals, Science, 292 (5519): 1067. Kostoff, R. N., Hartley, J. (2000b), Structured abstracts for technical journal articles, Letter to Technical Journal Editors, 14 May. Letter available from author. Macroberts, M.H., Macroberts, B.R. (1989), Problems of citation analysis: A critical review, Journal of the American Society for Information Science, 40 (5): 342-349. Macroberts, M., Macroberts, B. (1996), Problems of citation analysis, Scientometrics, 36 (3): 435-444. Marshakova, I.V. (1973), System of document connections based on references, Nauchno-Tekhnicheskaya Informatsiya Seriya 2-Informatsionnye Protsessy I Sistemy, (6) 3-8. Marshakova, I.V. (1981), Citation networks in information-science, Scientometrics, 3 (1): 13-25. Marshakova, I.V. (1988), On the mapping of science, Vestnik Akademii Nauk SSSR, (5) 70-82. Martin, B. Irvine, J. (1983), Assessing basic research: some partial indicators of scientific progress in radio-astronomy, Research Policy, 12: 61-69. Moed, H.F., Van Raan, A.F.J. (1986), Observations and hypotheses on the phenomenon of multiple citation to a research groups oeuvre, Scientometrics, 10 (1–2): 17-33. Narin, F., Carpenter, M.P. (1975), National publication and citation comparisons, Journal of the American Society for Information Science, 26 (2): 80-93. Narin, F. (1976), Evaluative Bibliometrics: The Use of Publication and Citation Analysis in the Evaluation of Scientific Activity, (monograph), NSF C-637, National Science Foundation, Contract NSF C-627, NTIS Accession No. PB252339/AS, March 31. Narin, F., Carpenter, M.P., Woolf, P. (1984), Technological performance assessments based on patents and patent citations, IEEE Transactions On Engineering Management, 31 (4): 172-183. Narin, F., Olivastro, D., Stevens, K. A. (1994), Bibliometrics-theory, practice, and problems, In: Kostoff, R. N., (Ed.) Evaluation Review, Special Issue on Research Impact Assessment, 18: 1. Narin, F., Hamilton, K.S. (1996), Bibliometric performance measures, Scientometrics, 36 (3): 293-310. Nederhof, A.J., Van Raan, A.F.J. (1987), Citation theory and the Ortega hypothesis, Scientometrics, 12 (5–6): 325-328. Schubert, A., GlÄnzel, W., Braun, T. (1986), Relative indicators of publication output and citation impact of European physics research: 1978–1980, Czechoslovak Journal of Physics, 36 (1): 126-129. Schubert, A., Braun, T. (1993), Reference-standards for citation based assessments, Scientometrics, 26 (1): 21-35. Schubert, A., Braun, T. (1996), Cross-field normalization of scientometric indicators, Scientometrics, 36 (3): 311-324. Small, H. G. (1973), Relationship between citation indexing and word indexing-Study of co-occurrences of title words and cited references, Proceedings of the American Society for Information Science, 10: 217-218. Small, H. (1974), Co-citation in scientific literature-New measure of relationship between 2 documents, Current Contents (7): 7-10. Small, H. G. (1977), Co-citation model of a scientific specialty-Longitudinal-study of collagen research, Social Studies of Science, 7 (2): 139-166. Small, H. (1981), The relationship of information-science to the social-sciences-A co-citation analysis, Information Processing & Management, 17 (1): 39-50. Small, H., Sweeney, E., GREENLEE, E. (1985), Clustering the science citation index using co-citations. 2. Mapping science, Scientometrics, 8 (5–6): 321-340. Sullivan, D., White, D. H., Barboni, E. J. (1977) Co-citation analyses of science-Evaluation, Social Studies of Science, 7 (2): 223-240. Sullivan, D., Koester, D., White, D. H., Kern, R. (1979), Understanding rapid theoretical change in particle physics-Month-by-month co-citation analysis, Proceedings of the American Society for Information Science, 16: 276-285. Sullivan, D., Koester, D., White, D. H., Kern, R. (1980), Understanding rapid theoretical change in particle physics-A month-by-month co-citation analysis, Scientometrics, 2 (4): 309-319. Van Raan, A.F.J. (1991), Fractal geometry of information space as represented by co-citation-clustering, Scientometrics, 20 (3): 439-449. Van Raan, A.F.J., Tijssen R.J.W. (1993), The neural net of neural network research-An exercise in bibliometric mapping, Scientometrics, 26 (1): 169-192. Van Raan, A.F.J. (1996), Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises, Scientometrics, 36 (3): 397-420. Zachlin, A. C. (1948), On literature citation, Science, 107 (2777): 292-293. Zirkle, C. (1954), Citation of fraudulent data, Science, 120 (3109): 189-190. Zsindely, S., Schubert A., Braun T. (1982), Citation patterns of editorial gatekeepers in international chemistry journals, Scientometrics, 4 (1): 69-76.