Công nghệ thông tin truyền thông đang làm gia tăng đáng kể khả năng truyền thông tin qua các hệ thống thông tin toàn cầu, dẫn tới sự bùng nổ trong việc tạo lập và chia sẻ tri thức. Điều này mở ra các cơ hội để tạo ra và chia sẻ một rộng rãi hơn các tài nguyên giáo dục, qua đó đáp ứng được các nhu cầu đa dạng của sinh viên. Thông tin số với sự dễ dàng chia sẻ và lan truyền trên mạng đã đặt ra những thách thức đáng kể cho vấn đề về sở hữu trí tuệ, các vấn đề bản quyền và các mô hình kinh doanh học liệu mở. Truy cập trực tuyến đang gia tăng, đi cùng với kết nối mạng xã hội và việc học tập cộng tác, đã tạo ra những cơ hội cho đổi mới cho giáo dục đại học. Những mong muốn chia sẻ thông tin, tài liệu để thúc đẩy sự phát triển và đổi mới giáo dục đào tạo đã hình thành trào lưu tài nguyên giáo dục mở (TNGDM), được coi là phương thức đổi mới giáo dục (1).

1. Khái niệm

Thuật ngữ TNGDM (OER), đầu tiên được thông qua tại diễn đàn UNESCO năm 2002 về tác động của học liệu mở (OCW) với giáo dục đại học của các nước đang phát triển. Những người tham dự đã thống nhất TNGDM là “sử dụng cung cấp mở tài nguyên giáo dục nhờ CNTTTT phục vụ cho cộng đồng người sử dụng để tư vấn, sử dụng và thích ứng cho mục tiêu phi lợi nhuận” (2).

Theo Tổ chức Hợp tác và Phát triển Kinh tế (OECD), TNGDM là “những tài liệu học tập và nghiên cứu có sử dụng những công cụ phù hợp như cấp phép mở, cho phép những người khác được tự do tái sử dụng, tiếp tục cải tiến và đặt lại mục tiêu phục vụ mục đích giáo dục” (3). Trung tâm Nghiên cứu và đổi mới sáng tạo giáo dục của OECD cho rằng TNGDM là “những tài nguyên học tập số, được cung cấp trực tuyến một cách tự do và mở cho giáo viên, người làm công tác giáo dục, sinh viên, học viên, những người học độc lập để sử dụng, chia sẻ, kết hợp, thích ứng và mở rộng trong hoạt động giảng dạy, học tập và nghiên cứu” (4).

Quỹ William và Flora Hewlett định nghĩa: “TNGDM là những tài nguyên về giảng dạy, học tập và nghiên cứu trên khu vực công cộng hoặc tuân thủ giấy phép sở hữu trí tuệ mà chúng cho phép những người khác tự do sử dụng và đặt lại mục tiêu” (5).

Thuật ngữ học liệu mở lần đầu tiên được Viện Công nghệ Massachusetts (MIT) đưa ra năm 2002 khi công bố website học liệu mở của 50 môn học của trường. Học liệu mở chủ yếu là những TNGDM trong lĩnh vực giáo dục đại học: các bài giảng, tài liệu giảng dạy của các bộ môn trong các trường đại học (6).

Nguyên tắc 5R của TNGDM (7) bao gồm:

Reuse - sử dụng lại: Mức cơ bản nhất về tính mở. Mọi người được phép sử dụng tất cả hoặc một phần tác phẩm cho các mục đích của riêng họ.

Redistribute - phân phối lại: Mọi người có thể chia sẻ tác phẩm với những người khác.

Revise - làm lại: Mọi người có thể tùy biến thích nghi, sửa đổi, dịch, hoặc thay đổi tác phẩm.

Remix - pha trộn: Lấy hai hoặc nhiều tài nguyên đang tồn tại và kết hợp chúng để tạo ra một tài nguyên mới.

Retain - giữ lại: Không có hạn chế quản lý các quyền số, nội dung là của bạn để giữ, bất kể bạn là tác giả, giảng viên hay sinh viên đang sử dụng.

Tầm quan trọng của TNGDM

Tầm quan trọng của TNGDM gần đây đã được dẫn chứng bằng tư liệu và chứng minh rộng rãi trong thực tế. Tuy nhiên, có một số thách thức xung quanh việc tạo dựng một mạng lưới TNGDM (8). Liên quan đến sự bền vững, hầu hết mọi người đều nghĩ về cách làm thế nào để các nguồn này được chi trả nhưng cần lưu ý rằng, đây chỉ là một phần của vấn đề rộng lớn hơn. Do đó, cần phải biết TNGDM là gì, ai tạo ra TNGDM và bằng cách nào trả phí cho điều này, cũng như sẽ dùng nó như thế nào.

Bắt đầu với câu hỏi tại sao TNGDM lại được kỳ vọng ở vị trí hàng đầu. Lý lẽ đầu tiên được dựa trên giá trị. Larsen và Vincent Lancring nói rằng, trong các cộng đồng TNGDM, “yếu tố ảnh hưởng tiến bộ sẽ lớn hơn khi nó được chia sẻ”(9). Thống kê đã cho thấy chỉ 27% tài liệu nghiên cứu được xuất bản và chỉ 5% kết quả nghiên cứu được chia sẻ. Giá trị của dữ liệu nghiên cứu có thể sẽ tăng 10 lần nếu được công khai.

Có thể hiểu lợi ích của TNGDM khi nhìn vào ảnh hưởng của mạng lưới TNGDM. Đối với các tác giả, việc nhượng lại tài liệu xuất bản mở cho phép họ tiếp cận người đọc rộng nhất. Dự án trích dẫn mở báo cáo rằng, các tài liệu xuất bản mở được trích dẫn thường xuyên hơn. Đối với người đọc, truy cập mở cho phép tiếp cận với toàn bộ nội dung. Đối với người xuất bản, truy cập mở đảm bảo sự phổ biến rộng rãi của bài báo mà họ xuất bản.

Như vậy, mạng lưới TNGDM sẽ có lợi ích và thay đổi diện mạo cộng đồng, tăng giá trị của các nguồn cá nhân. Nhưng một mạng lưới TNGDM được kỳ vọng chỉ khi chi phí đó có thể chịu được theo cách gây quỹ hoặc thực tiễn.

Tiềm năng biến đổi của TNGDM

Yêu cầu gia tăng đối với giáo dục đại học và sự triển khai liên tục hạ tầng CNTTTT đã tạo ra những thách thức cho các cơ sở giáo dục đại học có điều kiện các nguồn tài nguyên bị hạn chế. Điều này yêu cầu các cơ sở giáo dục triển khai một cách có hệ thống các nội dung sau: phát triển và cải thiện chương trình đào tạo và tài liệu học tập; thiết kế chương trình và các khóa học; tổ chức các buổi giao lưu với sinh viên và giữa các sinh viên với nhau; nâng cao chất lượng giảng dạy và học liệu; thiết kế các công cụ đánh giá hiệu quả cho các môi trường khác nhau; gắn kết với nhu cầu việc làm.

Học liệu mở có thể có đóng góp đáng kể vào những quá trình này. Tuy nhiên, học liệu mở không tự động dẫn đến chất lượng, hiệu quả đào tạo, hiệu quả chi phí, mà còn phụ thuộc nhiều vào các quy định thủ tục đặt ra. Tiềm năng giáo dục thay đổi của học liệu mở phụ thuộc vào việc: cải thiện chất lượng các tài liệu học tập thông qua các quá trình đánh giá ngang hàng; tận dụng được lợi ích của việc điều chỉnh, cá nhân hóa và địa phương hóa; nhấn mạnh đến tính chất mở và cải thiện chất lượng; xây dựng năng lực cho sự sáng tạo và sử dụng học liệu mở như một phần của công tác phát triển chuyên môn cho đội ngũ giảng viên; phục vụ, đáp ứng các nhu cầu thông tin của sinh viên; tối ưu hóa việc sử dụng nhân sự và ngân sách của các cơ sở giáo dục; phục vụ sinh viên bằng tiếng bản địa; khuyến khích sinh viên lựa chọn và điều chỉnh học liệu mở cho phù hợp nhằm làm cho họ tham gia tích cực hơn vào quá trình học tập; sử dụng tài liệu được xây dựng tại cơ sở và có sự ghi công xứng đáng.

2. Thực trạng nguồn lực thông tin của Trung tâm Thông tin - Thư viện, Đại học Giao thông Vận tải, và sự cần thiết phải xây dựng TNGDM

Thực trạng nguồn lực thông tin

Nguồn lực thông tin (NLTT) được hiểu như là tổ hợp các thông tin nhận được và tích lũy được trong quá trình phát triển khoa học và hoạt động thực tiễn của con người, để sử dụng nhiều lần trong sản xuất và quản lý xã hội. NLTT bao gồm các dữ liệu thể hiện dưới dạng văn bản, hình ảnh hoặc âm thanh được ghi lại trên phương tiện theo quy ước và không theo quy ước, các sưu tập, những kiến thức của con người, những kiến thức của tổ chức và ngành công nghiệp thông tin có thể truy cập và có giá trị cho người sử dụng

Trong Trường ĐHGTVT, các nguồn tin được thể hiện dưới dạng sách, báo, tạp chí khoa học; kỷ yếu hội nghị, hội thảo khoa học; thuyết minh nhiệm vụ, báo cáo kết quả thực hiện, ứng dụng kết quả nhiệm vụ KHCN; tài liệu sở hữu trí tuệ, tiêu chuẩn, quy chuẩn kỹ thuật; catalô công nghiệp; đồ án tốt nghiệp, luận văn thạc sĩ, luận án tiến sĩ; tài liệu thiết kế, kỹ thuật; CSDL; tài liệu thống kê KHCN; tài liệu đa phương tiện và tài liệu trên các vật mang tin khác.

Việc bổ sung NLTT dựa vào các nguồn: kinh phí nhà nước, kinh phí xã hội hóa, hợp tác trao đổi, biếu tặng, tài liệu nội sinh và nguồn tin điện tử. NLTT thường bao gồm các loại: tài liệu truyền thống (tài liệu dạng in ấn) và tài liệu dạng điện tử...

Nguồn lực thông tin truyền thống

Trong những năm gần đây, TTTTTV Trường đã thu thập, tạo lập và hiện đang quản lý một NLTT khá phong phú, bao gồm các loại hình tài liệu dạng in ấn như: sách, tạp chí, bản đồ, báo cáo kết quả NCKH, kỷ yếu hội thảo, luận văn thạc sĩ, luận án tiến sĩ... Cụ thể: tài liệu tiếng nước ngoài trước năm 1990 với hơn 32.000 cuốn sách bằng các ngôn ngữ Nga, Anh, Pháp, Đức, Trung Quốc, Ba Lan…; 670 tên giáo trình, bài giảng tương tương 130.000 cuốn; hơn 200 loại báo chí bằng các ngôn ngữ khác nhau; trên 5.000 cuốn tạp chí chuyên ngành đóng quyển (ký hiệu TCA, TCD, TCP, TCV); hơn 7.000 luận văn thạc sĩ (ký hiệu LV.); 160 luận án tiến sĩ (ký hiệu LA.); hơn 1.000 đề tài NCKH các cấp (ký hiệu NCKH); gần 100 kỷ yếu khoa học; khoảng 28.000 cuốn sách tiếng Việt (ký hiệu DV); sách ngoại văn trên 12.000 cuốn (ký hiệu DN); khoảng 2.000 cuốn sổ tay, tiêu chuẩn kỹ thuật, tiêu chuẩn ngành, từ điển, bách khoa toàn thư… Hiện tại, Trung tâm xử lý tài liệu theo biên mục đọc máy Marc21, các trường dữ liệu được thiết kế theo mẫu có sẵn cho các dạng tài liệu khác nhau.

Nguồn lực thông tin điện tử

Hiện nay, TTTTTV Trường lưu giữ các loại hình tài liệu dạng điện tử bao gồm: tạp chí điện tử, sách điện tử, các CSDL, các bộ sưu tập số, đĩa từ,... Ví dụ: hơn 6.000 đĩa CD-ROM luận văn thạc sĩ, hơn 100 đĩa luận án tiến sĩ, hơn 800 đĩa NCKH, 2.000 đĩa CSDL sách,… Trung tâm đã xây dựng được hơn 27.800 biểu ghi CSDL thư mục bao gồm: CSDL sách, CSDL luận văn, CSDL luận án, CSDL NCKH, CSDL tạp chí đóng quyển, CSDL bài giảng, CSDL sách biếu tặng, CSDL giúp bạn đọc tra cứu thông tin trên OPAC. Ngoài ra Trung tâm đã số hóa được hơn 7.000 tên sách điện tử bằng tiếng Anh về các chuyên ngành đào tạo của trường từ năm 2006 về các lĩnh vực: Điện - Điện tử, môi trường giao thông, xây dựng cầu đường; tự động hóa, cơ khí…; 300 luận văn thạc sĩ; 200 đề tài NCKH; 51 giáo trình điện tử và các tài liệu miễn phí giúp bạn đọc truy cập offline trong mạng LAN của trường. Từ năm 2015, bạn đọc truy cập và đọc online CSDL điện tử Ebook Proquest Central, mua chung cùng Liên hiệp các trường đại học kỹ thuật, nguồn tin điện tử của câu lạc bộ các trường đại học kỹ thuật với hơn 130.000 tên tài liệu từ các nhà xuất bản khác nhau trên thế giới. Những năm gần đây, Trung tâm tham gia Liên chi hội các trường đại học phía Bắc, bạn đọc được sử dụng CSDL của TTTTTV Đại học Quốc gia Hà Nội miễn phí. Có thể nói, CSDL hình ảnh rất có giá trị tham khảo trong giảng, các chuyên đề trong phim giúp định hướng NCKH cũng như các hoạt động khác đối với người dùng hiện nay ở Trường. Ngoài các loại hình tài liệu dạng in ấn và dạng điện tử, TTTTTV Trường còn có các nguồn tài liệu khác như: CSDL online, offline. Qua quá trình khảo sát, NLTT dạng in ấn là chủ yếu, nguồn tin điện tử còn thiếu so với nhu cầu, đa số sách điện tử bằng ngôn ngữ tiếng Anh, tài liệu điện tử tiếng Việt rất ít.

Sự cần thiết phải xây dựng TNGDM

Kết quả nghiên cứu, khảo sát thực trạng nguồn học liệu của Trường và sự cần thiết phải xây dựng TNGDM cho thấy:

Thư viện không đáp ứng đầy đủ nhu cầu tài liệu cho bạn đọc. 32% bạn đọc phản hồi thư viện đáp ứng rất ít hoặc hoàn toàn không đáp ứng nhu cầu bạn đọc, 44% chỉ đáp ứng 1/3 nhu cầu, và chỉ có 19% bạn đọc khẳng định thư viện cung cấp gần đầy đủ nhu cầu tài liệu.

Tình trạng dạy chay, học chay vẫn còn tồn tại, mặc dù nhà trường đã tích cực đổi mới nội dung, chương trình, phương thức đào tạo, phương pháp giảng dạy, phát huy tính sáng tạo và tự học của sinh viên. Tuy nhiên vấn đề tồn tại là sinh viên không có các nguồn học liệu phong phú để tự tìm tòi, nghiên cứu.

Năng lực ngoại ngữ của sinh viên và giảng viên còn rất hạn chế. Đối với giảng viên, việc sử dụng thành thạo ngoại ngữ trong đọc tài liệu, nghiên cứu cũng còn hạn chế.

Sử dụng các cơ sở dữ liệu bằng tiếng nước ngoài chưa hiệu quả. Mua cơ sở dữ liệu nước ngoài là rất cần thiết với các trường đại học trong giai đoạn hội nhập quốc tế, tuy nhiên sử dụng thế nào cho hiệu quả đang là vấn đề đặt ra.

Vấn đề bản quyền và thực thi tác quyền vẫn chưa có giải pháp tốt ở nhiều thư viện đang trong quá trình số hóa và cung cấp tài liệu trực tuyến.

3. Đề xuất các mô hình bền vững của TNGDM

Các mô hình gây quỹ

Nhiều dự án TNGDM đã được khởi động trong các năm gần đây. Điều này bắt nguồn từ các chính phủ, từ các cơ sở và tổ chức, và từ các nhóm và cá nhân. Mỗi dự án này sẽ phải được hỗ trợ tài chính theo nhiều cách khác nhau, nhưng không có mô hình riêng nào nổi trội hẳn. Dưới đây là một số mô hình đã triển khai.

Mô hình sẵn có: dự án gây được quỹ cơ bản. Người quản lý quỹ cơ sở này và dự án được bền vững từ mối quan tâm đạt được từ tài nguyên đó.

Mô hình thành viên: sự liên kết của các tổ chức quan tâm được mời để đóng góp vào một tổng nhất định, hoặc đóng góp hàng năm hay theo dõi; quỹ này tạo ra thu nhập hàng năm vận hành cho các dịch vụ TNGDM.

Mô hình quyên góp: dự án được ủng hộ bởi cộng đồng rộng khắp bằng cách đề nghị và nhận ủng hộ. Quyên góp được quản lý bởi một nền tảng phi lợi nhuận có thể áp dụng để vận hành chi phí hoặc, nếu số lượng đủ thì tìm cách thành lập một tài sản để lại. Nhiều tài nguyên mở và các dự án nội dung mở được gây quỹ theo cách này, bao gồm wikipedia và nền tảng apache.

Mô hình biến đổi: sẽ có vài thứ miễn phí và sau đó người sử dụng trở thành người dùng trả phí.

Mô hình người đóng góp trả phí: theo cách của thư viện khoa học mở (PloS) là thanh toán khía cạnh tác giả một lần bao gồm cơ chế người đóng góp trả phí cho chi phí duy trì, sau đó là miễn phí.

Mô hình tài trợ: nhấn mạnh một dạng truy cập mở sẵn có trong hầu hết các hộ gia đình: đài và truyền hình miễn phí. Mô hình tài trợ có thể trải dài từ các tin nhắn thương mại cho đến các tin nhắn “tài trợ” tinh tế hơn như được hình thành trong phát thanh công khai.

Mô hình tổ chức: là trường hợp mà một tổ chức sẽ đảm nhận vai trò cho một khởi đầu TNGDM.

Mô hình chính phủ: thể hiện gây quỹ trực tiếp cho các dự án TNGDM bởi các cơ quan chính phủ.

Mô hình hội viên và trao đổi: không được coi như mô hình gây quỹ hoặc tài chính, nhưng cũng đóng một vai trò quan trọng, tiềm năng trong sự phát triển của các mạng lưới TNGDM.

Mô hình kỹ thuật

Sự bền vững của TNGDM sẽ không thể hoàn thành mà không cân nhắc cách phát triển và phân phối TNGDM. Trong lĩnh vực TNGDM, các cân nhắc về tài chính dẫn đến phát triển về công nghệ. Khái niệm phổ biến của “mục tiêu học” được chú ý, ít nhất là từng phần bằng cách hy vọng rằng các nguồn học tập có thể chia sẻ và tái sử dụng được nếu cắt giảm chi phí cần thiết để tạo ra nó (10). Điều này, làm dấy lên yêu cầu về tài nguyên cho thiết kế TNGDM; Walker cho rằng nó đòi hỏi tính tương tác giữa các dữ liệu, phần mềm và các dịch vụ.

Vấn đề liên quan khác là truy cập vào TNGDM. Trong lĩnh vực TNGDM, truy cập thường được duy trì thông qua hệ thống phần mềm được gọi là “các kho”. Nhiều dự án kho TNGDM tồn tại bao gồm MERLOT, NSDL, CAREO... Ngoài ra, các dự án phần mềm kho đã được cam kết như: DSpace và eduSource. Cần lưu ý rằng các tài nguyên được lưu trữ trong kho, thậm chí cả những tài nguyên chỉ được liệt kê sẽ không phải là nguồn giáo dục mở; vài dự án kho, ví dụ dự án CORDRA của Advanced Distributed Learning, thường bao gồm kiểm soát truy cập và các quyền kỹ thuật số như một trong những chức năng cốt lõi.

Mô hình nội dung

Nội dung sẽ ảnh hưởng đến sự phát triển bền vững của TNGDM. Beshears cho rằng một cuốn sách sẽ hữu ích trong vài thập kỷ hoặc thậm chí hàng thế kỷ nhưng các khóa học chỉ có tuổi thọ giới hạn, khoảng 8 năm trở xuống (11). Ngoài ra, bản chất của các nguồn giáo dục sẽ ảnh hưởng đến cách nó có thể sử dụng và tái sử dụng, một hình ảnh kỹ thuật số có thể được dán vào một tài liệu, nhưng một cuốn sách không thể.

TNGDM được xem là bền vững thường được mô tả cần phải là loại nội dung linh hoạt, có thể thích nghi cho nhu cầu nội bộ và các điều kiện. Trong bối cảnh này, bền vững có thể được xem là có giá trị tương đương như có thể sử dụng lại.

Một loại khác của vấn đề nội dung liên quan đến cấp phép liên kết với các tài nguyên. Một trong các chi phí chủ yếu trong dự án chương trình học mở MIT là sự minh bạch của cấp phép cho toàn bộ các tài liệu được sử dụng.

Các mô hình cấp phép đa dạng theo các loại yếu tố: các tài liệu được xuất bản có duy trì quyền sử hữu của người đã tạo ra nó không, tác giả có thể yêu cầu tài liệu bị loại bỏ từ các trang người dùng khác không, tài liệu có thể được cập nhật hoặc cải thiện chỉ khi có sự đồng ý của tác giả không, nội dung có được sử dụng rộng rãi bởi các tổ chức giáo dục phi lợi nhuận không và các tổ chức vì lợi nhuận có được truy cập không?

 Công thức “nội dung mở + cộng đồng = các khóa học mở” cho thấy sự phát triển của cộng đồng nội dung bền vững là một phần trọn vẹn của phát triển mạng lưới TNGDM.

Kết luận

TNGDM bao gồm một số thành phần như: nội dung học tập (các khóa học đầy đủ, bài giảng, các module nội dung, đối tượng học, các sưu tập tài liệu và tạp chí); công cụ (phần mềm để hỗ trợ việc phát triển, sử dụng, tái sử dụng, phổ biến nội dung học, bao gồm việc tìm kiếm và tổ chức nội dung, hệ thống quản trị hệ thống học, các công cụ phát triển nội dung và cộng đồng học trực tuyến); các nguồn thực hiện (những cấp phép sở hữu trí tuệ để thúc đẩy xuất bản mở các tài liệu, những nguyên tắc thiết kế các thực hành tốt và bản địa hóa nội dung). TNGDM có thể có vai trò tích cực trong đổi mới, nâng cao chất lượng đào tạo tại trường đại học trong điều kiện kinh phí cấp cho hoạt động rất hạn chế, ngân sách hàng năm dành cho công tác bổ sung tài liệu mới, nhất là tài liệu ở dạng giáo trình, tài liệu tham khảo, chuyên khảo,… là rất thấp. Cách để thúc đẩy TNGDM vì thế cần làm từng bước một, chắc chắn, theo đúng các chuẩn mực quốc tế và quan trọng nhất, có sự ủng hộ từ những người đứng đầu ở tất cả mọi cấp, bao gồm cả cấp cao nhất của chính phủ, bằng các chính sách truy cập mở TNGDM cụ thể, quyết liệt và thiết thực, cùng với sự đồng thuận của cả xã hội, thông qua các con đường giáo dục và truyền thông. Để phát triển TNGDM trong Trường đại học GTVT cần có sự hỗ trợ tích cực, chủ động của lãnh đạo trường, thư viện, đội ngũ giảng viên cũng như của cộng đồng sinh viên.

_______________

1. Atkins D.E., J.S Brown và A.L Hammond, A Review of the Open Educational Resources (OER) Movement: Achievements, Challenges, and New Opportunities. Report to The William and Flora Hewlett Foundation, 2007.

2, 6, 10. UNESCO, Forum on the Impact of Open Courseware for Higher Education in Developing Countries: Final report, 2002. Truy cập từ http://unesdoc. unesco.org/images/0012/001285/128515e.pdf.

3. Orr, D., M. Rimini and D. Van Damme, Open Educational Resources: A Catalyst for Innovation, Educational Research and Innovation, OECD Publishing, Paris, 2015. Truy cập từ http:// dx. doi. org/ 10.1787/9789264247543-en.

4, 5. CERI, Giving Knowledge for Free: The emergence of open educational, 2007. Truy cập từ oecd.org/edu/ceri/38654317.pdf.

7. Cheryl Hodgkinson-Williams, OER and pedagogical practices in African Higher education: A perspective from the ROER4D project, 2015.

8, 9. Giving Knowledge for Free: The Emergence of Open Educational Resources, OECD, 2007.

11. Downes, Stephen, Models for Sustainable Open Educational Resources, Journal of Knowledge and Learning Objects, 3-2007, pp 29-44.

Tác giả: Đỗ Tiến Vượng

Nguồn : Tạp chí VHNT số 411, tháng 9 - 2018