Xử lí đồng thời dữ liệu lớn trong kiến trúc thông tin ngân hàng
02/08/2023 3.196 lượt xem
Tóm tắt: Ngành Ngân hàng đang phải đối mặt với việc lượng dữ liệu được tạo ra ngày càng lớn, do đó, yêu cầu có một hệ thống xử lí dữ liệu hiệu suất cao và tiết kiệm chi phí để quản lí dữ liệu. Bài viết giới thiệu một giải pháp cơ sở dữ liệu hỗn hợp dựa trên việc xử lí đồng thời sử dụng cơ sở dữ liệu giao dịch trên nền tảng Hadoop và Storm. Phương pháp tải dữ liệu được thiết lập theo quy trình trích xuất - tải (nạp) - xử lí dữ liệu. Để xác minh hiệu suất của giải pháp đề xuất so với cơ sở dữ liệu Oracle truyền thống, các mô hình xử lí dữ liệu thông thường được áp dụng trên tập dữ liệu thực tế. Kết quả cho thấy, nguyên mẫu cơ sở dữ liệu hỗn hợp không chỉ mang lại hiệu suất tốt hơn mà còn tiết kiệm chi phí hơn.
 
Từ khóa: Kiến trúc dữ liệu ngân hàng, dữ liệu lớn, xử lí đồng thời dữ liệu lớn, trích xuất - tải (nạp) - xử lí, cấu trúc hỗn hợp.
 
PROCESSING BIG DATA IN BANKING INFORMATION ARCHITECTURE
 
Abstract: The banking industry faces the challenges of generating a massive amount of data on a daily basis, including recording historical transaction information, thus requiring a high-performance and cost-effective data processing system for data management. This paper introduces a hybrid database solution based on parallel processing, utilizing transactional databases, the Hadoop platform, and Storm. The data loading method is established as Extract - Load - Transform. To verify the performance of the proposed solution compared to the traditional Oracle database, five typical data processing models are applied to real-world datasets. The results demonstrate that the hybrid database prototype not only delivers better performance but also reduces costs.
 
Keywords: Banking data architecture, big data, parallel processing, extract - load - transform, hybrid structure.

1. Đặt vấn đề
 
Dữ liệu được coi là thông tin quan trọng trong ngành Ngân hàng và tồn tại trong mỗi phân đoạn hoạt động kinh doanh của ngân hàng. Hiện nay, các yếu tố như hình thức dữ liệu, mối quan hệ giữa các dữ liệu, thời gian xử lí và yêu cầu ứng dụng dữ liệu đã trải qua những thay đổi đáng kể. Các ngân hàng cần phải tiếp nhận cả dữ liệu nội bộ và dữ liệu từ bên ngoài. Công nghệ dữ liệu lớn có thể nâng cao hiệu suất của việc thu thập, xử lí, lưu trữ và chia sẻ dữ liệu. Trong kiến trúc dữ liệu lớn của ngành Ngân hàng, cơ sở dữ liệu giao dịch truyền thống thường được sử dụng để lưu trữ dữ liệu có cấu trúc, trong khi Hadoop được sử dụng để mở rộng việc xử lí dữ liệu không có cấu trúc. Tuy nhiên, với sự gia tăng về khối lượng dữ liệu, tốc độ phân tích và xử lí dữ liệu, kiến trúc dữ liệu lớn truyền thống không còn đáp ứng được nhu cầu, đồng thời, làm hạn chế sự phát triển kinh doanh. 
 
Cơ sở dữ liệu xử lí đồng thời quy mô lớn áp dụng kiến trúc phân tán phẳng và không chia sẻ. Mỗi nút dữ liệu trong cụm cơ sở dữ liệu tận dụng tài nguyên phần cứng riêng để thực hiện các nhiệm vụ song song. Đây có thể cung cấp một nền tảng tính toán dữ liệu phổ biến, hiệu quả về mặt chi phí để quản lí các nguồn dữ liệu quy mô lớn trong ngành Ngân hàng với hiệu suất cao, khả năng sẵn có và mở rộng. Dưới sự hỗ trợ của cơ sở dữ liệu xử lí đồng thời quy mô lớn, dữ liệu lớn có thể cung cấp dịch vụ dữ liệu toàn diện và kịp thời, nâng cao khả năng tích hợp các nguồn tài nguyên dữ liệu, cải thiện khả năng xử lí và phân tích dữ liệu.
 
Bài viết đề xuất một kiến trúc dữ liệu lớn cho ngành Ngân hàng bằng cách xây dựng một cơ sở dữ liệu và công nghệ kết hợp dựa trên xử lí đồng thời quy mô lớn, cơ sở dữ liệu giao dịch, Hadoop và Storm. Kiến trúc kết hợp này được chia thành các tầng truy cập dữ liệu, tầng trao đổi dữ liệu, tầng dịch vụ dữ liệu và tầng ứng dụng dữ liệu.
 
2. Giá trị của dữ liệu lớn trong ngân hàng 
 
Dữ liệu lớn đóng vai trò quan trọng trong việc tạo ra giá trị vượt trội trong nhiều kịch bản khác nhau.
 
Dữ liệu lớn giúp chúng ta hiểu rõ hơn về dữ liệu và xây dựng quản lí vòng đời khách hàng. Ngân hàng sử dụng công nghệ phân tích dữ liệu lớn để nắm bắt thông tin chi tiết về khách hàng, tạo dựng cái nhìn toàn diện, cung cấp dịch vụ cá nhân hóa và định giá khác biệt dựa trên nhu cầu đa dạng của khách hàng. Đồng thời, công nghệ này còn hỗ trợ nhận diện chính xác khách hàng tiềm năng và kích hoạt khách hàng hiện tại một cách hiệu quả. Bằng cách áp dụng mô hình Internet vào hoạt động kinh doanh ngân hàng truyền thống và phát triển các dịch vụ đổi mới nhằm đánh giá khả năng vay, trả nợ của khách hàng, ngân hàng có thể tăng lợi nhuận trong tương lai.
 
Dữ liệu lớn còn đóng vai trò quan trọng trong việc kiểm soát rủi ro. Trong kinh doanh tín dụng truyền thống, thông tin sử dụng để đánh giá tín dụng dựa trên kinh  nghiệm bao gồm báo cáo tài chính, báo cáo tín dụng và tài sản bảo đảm. Tuy nhiên, quan điểm truyền thống chỉ phản ánh trạng thái tĩnh của khách hàng và hạn chế khả năng xác định rủi ro thực sự. Bằng cách áp dụng nền tảng kiểm soát rủi ro dựa trên công nghệ dữ liệu lớn, thông tin từ nhiều nguồn khác nhau, bao gồm cả thông tin công khai từ Chính phủ và thông tin trên Internet, có thể được tích hợp hoàn toàn vào quy trình kinh doanh. Kết hợp với trí tuệ nhân tạo và khai thác dữ liệu, công nghệ này giúp nâng cao cường độ quản lí rủi ro và hiệu quả của quyết định rủi ro thời gian thực.
 
Dữ liệu lớn còn đóng vai trò quan trọng trong việc xây dựng hệ sinh thái dữ liệu tài chính vượt biên giới và hợp tác dữ liệu. Để tận dụng dữ liệu từ các bên tài chính, thu thập thông tin từ nhiều ngành công nghiệp và vùng lãnh thổ khác nhau, ngân hàng tích hợp, áp dụng dữ liệu chính xác, kịp thời theo cả chiều ngang và chiều dọc. Đồng thời, ngân hàng cũng tận dụng những lợi ích của các bên tài chính truyền thống và xây dựng một hệ sinh thái dữ liệu hoạt động.
 
3. Cơ sở dữ liệu quy mô lớn 
 
Hệ thống xử lí đồng thời quy mô lớn bao gồm nhiều đơn vị xử lí được kết nối không chặt chẽ. Mỗi đơn vị trong hệ thống có các tài nguyên riêng như bộ nhớ, ổ cứng và các thành phần khác. Trong từng đơn vị, có một bản sao của hệ điều hành và cơ sở dữ liệu để quản lí. Đặc điểm chính của cấu trúc này là không chia sẻ tài nguyên giữa các đơn vị. Sự phát triển dữ liệu lớn đã thúc đẩy sự đổi mới công nghệ trong ngành công nghiệp cơ sở dữ liệu. Nhấn mạnh nhu cầu mạnh mẽ về hiệu năng xử lí. Các cơ sở dữ liệu phổ biến trong kiến trúc xử lí đồng thời quy mô lớn bao gồm: OldSQL, NewSQL và NoSQL. Cả ba loại cơ sở dữ liệu này sử dụng tính toán phân tán, hệ thống tệp phân tán và công nghệ tính toán trong bộ nhớ, tận dụng các công nghệ phần cứng mới như bộ nhớ lớn, Flash, SSD và kết nối mạng tốc độ cao. Trong cơ sở dữ liệu xử lí đồng thời quy mô lớn, cũng áp dụng lưu trữ cột. Lưu trữ dòng phù hợp cho việc thêm, xóa hoặc thay đổi dữ liệu nhỏ, nhưng mất nhiều thời gian và tài nguyên để xây dựng chỉ mục và tạo trước. Lưu trữ cột chỉ truy cập các cột liên quan trong truy vấn, giảm thời gian và tài nguyên với số lượng lớn. Điều này đặc biệt phù hợp cho việc truy vấn, thống kê và phân tích dữ liệu lớn của ngân hàng.
 
Ngân hàng sử dụng cơ sở dữ liệu xử lí đồng thời quy mô lớn có thể đạt được các lợi ích sau từ việc triển khai phần cứng và phát triển phần mềm:
 
- Chi phí phần cứng thấp và khả năng mở rộng cao: Sử dụng máy chủ PC với kiến trúc X86 giúp giảm chi phí so với việc sử dụng máy chủ UNIX đắt tiền và mảng đĩa. Hệ thống này có quá trình vận hành và bảo trì đơn giản, hỗ trợ mở rộng trực tuyến.
 
- Lưu trữ cột và tính toán song song: Áp dụng công nghệ xử lí phân tán song song dựa trên lưu trữ cột trong nền tảng dữ liệu lớn giúp tránh tình trạng chặn hiệu suất đơn điểm và sự cố đơn điểm. Mỗi nút có thể hỗ trợ dữ liệu nguyên gốc lên đến 100TB. Các nút trong cụm được chia sẻ miễn phí, với khả năng tính toán ngang hàng và có thể hỗ trợ lưu trữ và tính toán lên đến 10PB dữ liệu.
 
- Lưu trữ nén hiệu quả: Sử dụng chiến lược phân phối dữ liệu bằng hàm băm (hash) hoặc ngẫu nhiên giúp giảm không gian lưu trữ từ 1- 20 lần và cải thiện hiệu năng vào/ra của máy tính. Cơ sở dữ liệu xử lí đồng thời quy mô lớn hỗ trợ nén cấp độ thực thể, cấp độ thư viện và cấp độ bảng.
 
- Chỉ mục thông minh: Sử dụng công nghệ chỉ mục thông minh lớn, tỉ lệ mở rộng chỉ mục không vượt quá 1%. So với chỉ mục truyền thống của Oracle, không gian chỉ mục được tiết kiệm rất nhiều. Chỉ mục thông minh chứa thông tin thống kê dựa trên cột, có thể được sử dụng trực tiếp trong quá trình truy xuất và xác định dữ liệu, đồng thời lọc dữ liệu một cách hiệu quả.
 
- Cơ chế dự phòng: Sử dụng cơ chế dự phòng để đảm bảo tính sẵn có cao của cụm. Đồng bộ hóa tự động có thể được thực hiện giữa các dữ liệu mảnh được cung cấp lẫn nhau. Thông qua bản sao, xử lí đồng thời quy mô lớn cung cấp giải pháp bảo vệ dự phòng, phát hiện và quản lí lỗi tự động, đồng bộ hóa tự động của siêu dữ liệu và dữ liệu dịch vụ.
 
4. Mô hình kết hợp kiến trúc dữ liệu lớn trong ngân hàng 
 
Bài viết giới thiệu mô hình kết hợp kiến trúc dữ liệu lớn trong ngân hàng, bao gồm cơ sở dữ liệu giao dịch, cơ sở dữ liệu xử lí đồng thời quy mô lớn và Hadoop. Cơ sở dữ liệu giao dịch được sử dụng thực hiện xử lí giao dịch trực tuyến để xử lí dữ liệu kinh doanh trực tuyến, trong khi cơ sở dữ liệu xử lí đồng thời quy mô lớn xử lí dữ liệu có cấu trúc, mật độ giá trị cao và Hadoop xử lí dữ liệu có mật độ giá trị thấp.
 
4.1. Kiến trúc dữ liệu lớn ngân hàng
 
Kiến trúc dữ liệu lớn trong ngân hàng được chia thành bốn tầng: Truy cập dữ liệu, trao đổi dữ liệu, dịch vụ dữ liệu và ứng dụng dữ liệu.
 
Tầng truy cập dữ liệu thu thập dữ liệu từ các nguồn nội bộ và bên ngoài, sau đó gửi đến tầng trao đổi dữ liệu để tiền xử lí và lưu trữ trong tầng dịch vụ dữ liệu. Tầng dịch vụ dữ liệu bao gồm cơ sở dữ liệu xử lí đồng thời quy mô lớn, cơ sở dữ liệu giao dịch, nền tảng Hadoop và nền tảng Storm hoặc Spark để lưu trữ dữ liệu và cung cấp các dịch vụ. Cơ sở dữ liệu giao dịch chủ yếu xử lí dữ liệu kinh doanh trực tuyến và phù hợp với các kịch bản kinh doanh như thêm, xóa và sửa đổi dữ liệu. Cơ sở dữ liệu xử lí đồng thời quy mô lớn là công cụ cơ sở dữ liệu phụ trợ, chủ yếu để xử lí dữ liệu có cấu trúc và mật độ giá trị cao, phục vụ các kịch bản như xử lí dữ liệu theo lô, truy vấn và phân tích dữ liệu. Nền tảng Hadoop đảm nhận việc xử lí dữ liệu có mật độ giá trị thấp, ví dụ như dữ liệu thu thập từ Internet có thể trao đổi dữ liệu với cơ sở dữ liệu giao dịch và cơ sở dữ liệu xử lí đồng thời quy mô lớn qua kênh trao đổi dữ liệu tốc độ cao. Dựa trên kiến trúc kết hợp này, mô hình cung cấp ứng dụng dữ liệu cấp doanh nghiệp cho ngân hàng, nâng cao giá trị dữ liệu, hỗ trợ tầng ứng dụng dữ liệu bên ngoài và thực hiện quản lí khách hàng, phân tích kinh doanh, quản lí rủi ro và báo cáo theo quy định..
 
4.2. Cụm vật lí
 
Trên cụm vật lí, có sự tồn tại của các cụm dữ liệu như: Cơ sở dữ liệu giao dịch, cơ sở dữ liệu xử lí đồng thời quy mô lớn, cụm xử lí dữ liệu lớn, cụm xử lí thời gian thực, cụm máy chủ lập lịch và cụm máy chủ ứng dụng.
 
Các cụm cơ sở dữ liệu giao dịch có hiệu suất tốt hơn so với cơ sở dữ liệu phân tán trong việc xử lí giao dịch trực tuyến. Vì nhiệm vụ của kho dữ liệu hoạt động là làm việc với dữ liệu có tính chất hướng đối tượng, tích hợp hoặc thay đổi liên tục, nên cụm cơ sở dữ liệu xử lí đồng thời quy mô lớn hoặc cụm Hadoop không phù hợp. Trong trường hợp ứng dụng với lượng dữ liệu nhỏ, cụm xử lí đồng thời quy mô lớn hoặc Hadoop sẽ không thể tận dụng được khả năng xử lí phân phối của chúng. Cơ sở dữ liệu giao dịch đạt hiệu suất tốt hơn trong trường hợp ứng dụng với lượng dữ liệu nhỏ so với cơ sở dữ liệu xử lí đồng thời quy mô lớn cần phân phối dữ liệu cho từng nút.
 
Cụm cơ sở dữ liệu xử lí đồng thời quy mô lớn thích hợp cho việc truy vấn và xử lí trực tuyến các lượng dữ liệu lớn có mật độ cao và giá trị cao, chủ yếu được sử dụng trong dịch vụ dữ liệu của kiến trúc dữ liệu và tạo thành một hệ thống xử lí kết hợp với các cụm dữ liệu lớn và cụm xử lí thời gian thực; đồng thời truyền kết quả tính toán và xử lí đến tầng ứng dụng dữ liệu. Đối với ứng dụng phân tích dữ liệu lớn trực tuyến, phân tích trực tuyến có thể trực tiếp kết nối với cơ sở dữ liệu xử lí đồng thời quy mô lớn.
 
Cụm xử lí dữ liệu lớn sử dụng cụm Hadoop để xử lí dữ liệu có mật độ và giá trị thấp, ví dụ như phân tích các hồ sơ máy tính tạo ra. Cụm Hadoop được sử dụng để xử lí dữ liệu không có cấu trúc hoặc dữ liệu vượt quá khả năng xử lí của cụm cơ sở dữ liệu xử lí đồng thời quy mô lớn. Cụm Hadoop được sử dụng để xử lí dữ liệu trong lĩnh vực lưu trữ và cung cấp dữ liệu đã được xử lí trực tiếp cho tầng ứng dụng dữ liệu. Cụm Hadoop cũng thuộc loại cụm phân tán. Các máy tính vật lí có thể được sử dụng làm nút trong cụm và cần có mạng 10 Gigabit kết nối giữa các nút.
 
Các cụm xử lí thời gian thực sử dụng nền tảng Storm hoặc Spark áp dụng cho các kịch bản xử lí dữ liệu lớn yêu cầu thời gian đáp ứng nhanh. Kết quả xử lí thông qua nền tảng này có thể được truyền đến tầng dịch vụ dữ liệu. Yêu cầu cấu hình cho các cụm xử lí thời gian thực thường tương tự như các cụm xử lí dữ liệu lớn.
 
Các cụm lập lịch thực hiện quản lí phân cấp dữ liệu kinh doanh, theo dõi tình trạng của từng trường hợp dữ liệu một cách đáng tin cậy và chính xác. Qua các dự án, chủ đề công việc, gói công việc, các cụm lập lịch quản lí công việc. Lập lịch công việc là quá trình cốt lõi trong quá trình trích xuất - tải (nạp) - xử lí và tận dụng tối đa tài nguyên phần cứng để thực hiện lập lịch linh hoạt cho các công việc đã được cấu hình.
 
4.3. Các tầng kiến trúc dữ liệu
 
Kiến trúc dữ liệu của ngân hàng dữ liệu lớn bao gồm bốn tầng: Tầng truy cập dữ liệu, tầng trao đổi dữ liệu, tầng dịch vụ dữ liệu và tầng ứng dụng dữ liệu.
 
Một là, tầng truy cập dữ liệu có nhiệm vụ truy cập vào dữ liệu nội bộ và dữ liệu bên ngoài của ngân hàng. Dữ liệu nội bộ bao gồm thông tin giao dịch từ các hệ thống kinh doanh chính (ví dụ: Hệ thống trung tâm, hệ thống cho vay), dữ liệu hình ảnh, nhật kí hệ thống và nhiều hơn nữa. Dữ liệu bên ngoài bao gồm dữ liệu từ các cơ quan chính phủ, cơ quan quản lí và dữ liệu từ Internet. Hiện nay, kiến trúc dữ liệu của ngân hàng cũng cho phép truy cập vào một số dữ liệu Blockchain tài chính.
 
Hai là, tầng trao đổi dữ liệu được sử dụng để trao đổi dữ liệu hai chiều giữa các hệ thống kinh doanh, các điểm giao dịch ngân hàng và các hệ thống bên ngoài. Các hệ thống kinh doanh cung cấp dữ liệu giao dịch nguyên thô được tạo ra bởi các hệ thống kinh doanh, cũng như dữ liệu mô hình, chỉ số và dữ liệu thị trường được rút trích từ nền tảng cơ bản và cung cấp hỗ trợ cho hoạt động kinh doanh. Tầng trao đổi dữ liệu phân phối dữ liệu mô hình, chỉ số và dữ liệu đã rút trích từ nền tảng cơ bản đến các điểm giao dịch, hỗ trợ cho phân tích kinh doanh cá nhân hóa và truy cập dữ liệu cá nhân hóa tại mỗi điểm giao dịch ngân hàng. Các hệ thống bên ngoài là những bổ sung quan trọng bằng cách truy cập dữ liệu từ các ngành công nghiệp khác. Chúng cũng cung cấp các dịch vụ và dữ liệu thực hiện. Theo quy tắc xử lí dữ liệu và quy tắc mô hình hóa hiện có, quá trình lưu trữ nhúng trong cơ sở dữ liệu xử lí đồng thời quy mô lớn được tải lên để trực tiếp xử lí dữ liệu trong cơ sở dữ liệu.
 
Các thành phần chuẩn hóa dữ liệu thực hiện chuyển đổi các giá trị mã khác nhau (ví dụ: Tiền tệ, tổ chức, giới tính...) trong hệ thống nguồn theo tiêu chuẩn thống nhất của ngân hàng, để các mã khác nhau có cùng ý nghĩa có thể được lưu trữ trên nền tảng dữ liệu lớn. Dữ liệu tiêu chuẩn cuối cùng được cung cấp để sử dụng cho các hệ thống phía dưới.
 
Các thành phần tính toán tổng hợp bao gồm việc tổng hợp và tính toán dữ liệu theo các khía cạnh kinh doanh cụ thể như thời gian, tổ chức và tiền tệ. Việc tính toán tổng hợp thường được thực hiện trước khi dữ liệu được tải vào lớp mô hình tổng hợp và dữ liệu đã tổng hợp được sử dụng trong các hệ thống phía dưới cho thống kê dữ liệu hoặc hiển thị báo cáo. Các thành phần sắp xếp và loại bỏ trùng lặp sắp xếp dữ liệu theo các trường chỉ định và loại bỏ các bản ghi trùng lặp có cùng giá trị cho trường chỉ định. Sắp xếp và loại bỏ trùng lặp chủ yếu được sử dụng để lấy dữ liệu mới nhất, liên kết dữ liệu và các tình huống khác nhau để loại bỏ dữ liệu trùng lặp. Các thành phần đề cập đến việc chia nhỏ dữ liệu theo quy tắc được chỉ định, chẳng hạn như chia nhỏ một tệp dữ liệu theo tổ chức. 
 
Các thành phần liên kết kết nối dữ liệu theo yêu cầu kinh doanh và thiết kế mô hình thông qua các trường liên kết giữa các bảng dữ liệu để thực hiện xử lí thông tin dữ liệu. Các thành phần tính toán tăng cường liên quan đến việc tính toán dữ liệu tăng cường bằng cách so sánh dữ liệu, ví dụ: So sánh dữ liệu hai ngày. Tính toán tăng cường thường được thực hiện ở đầu quá trình xử lí. Nếu áp dụng trích xuất dữ liệu, dữ liệu tăng cường được tính toán nhỏ hơn số lượng dữ liệu đầy đủ, giúp tăng tốc quy trình xử lí. Vì xử lí đồng thời quy mô lớn là tính toán song song, nên cơ chế phát hiện tính lặp lại xử lí dữ liệu được sử dụng trong quá trình tải dữ liệu. Khi mỗi công việc xử lí thực hiện các hoạt động dữ liệu trên cơ sở dữ liệu, trước tiên, đăng kí thông tin hoạt động vào bảng phát hiện duy nhất được thiết kế cho cơ sở dữ liệu giao dịch. Khi tiếp tục thực hiện các hoạt động trên cơ sở dữ liệu, cần tìm thông tin đăng kí trong bảng phát hiện duy nhất. Nếu hiện tại có cùng thông tin hoạt động đang được thực hiện, thì hoạt động mới sẽ thất bại, đảm bảo chỉ có một hoạt động giống nhau đang chạy cùng một lúc, ngăn chặn tình trạng bị treo, bị dừng.
 
Ba là, tầng dịch vụ dữ liệu trong kiến trúc dữ liệu lớn của ngân hàng được sử dụng để lưu trữ các khu vực dữ liệu khác nhau, bao gồm ba loại cơ sở dữ liệu: Xử lí đồng thời quy mô lớn, cơ sở dữ liệu giao dịch và hệ thống tệp phân tán Hadoop. Trong số các khu vực lưu trữ, có hai khu vực dữ liệu quan trọng là: Khu vực dữ liệu có cấu trúc và khu vực dữ liệu không có cấu trúc. 
 
Dữ liệu có cấu trúc là dữ liệu được tổ chức theo hàng và giá trị được lưu trữ trong cơ sở dữ liệu. Hầu hết dữ liệu trong ngân hàng thuộc loại dữ liệu có cấu trúc. Khu vực dữ liệu có cấu trúc của ngân hàng bao gồm: Khu vực gốc dữ liệu, khu vực chủ đề dữ liệu và khu vực tổng hợp dữ liệu. Việc xử lí khu vực dữ liệu có cấu trúc sử dụng cơ sở dữ liệu xử lí đồng thời quy mô lớn tập trung chủ yếu vào việc xử lí dữ liệu trong tương lai gần, trung và xa. Bằng cách sử dụng hiệu quả cơ sở dữ liệu xử lí đồng thời quy mô lớn, dữ liệu giao dịch được đẩy định kì đến tầng ứng dụng dữ liệu để cung cấp tính toán và dịch vụ nhanh chóng. Xử lí khu vực dữ liệu không có cấu trúc và khu vực dữ liệu có cấu trúc có những khác biệt. Thông qua triển khai nền tảng dữ liệu lớn (bao gồm cụm Hadoop và cụm xử lí thời gian thực, trong đó Hadoop được sử dụng cho dịch vụ phân tích ngoại tuyến và Storm được sử dụng cho dịch vụ tiền xử lí dữ liệu), có thể giải quyết các tình huống thu thập và xử lí dữ liệu thời gian thực. Khu vực dữ liệu không có cấu trúc xử lí dữ liệu và đẩy dữ liệu tính toán vào cơ sở dữ liệu giao dịch của tầng ứng dụng dữ liệu, ví dụ như giá trị ròng của quỹ, thông tin thay đổi lượng lớn quỹ và những thông tin tương tự.
 
Bốn là, tầng ứng dụng dữ liệu được sử dụng để xây dựng hệ thống ứng dụng phân tích dữ liệu. Nhờ sử dụng các tập chỉ số đầy đủ và dữ liệu tổng hợp chung, tầng ứng dụng dữ liệu cải thiện khả năng phân tích tự phục vụ bằng cách giới thiệu các công cụ kinh doanh thông minh như bảng điều khiển, bộ lọc, chỉ số, phân tích đa chiều và khai thác dữ liệu, cung cấp hỗ trợ cho phân tích định hướng quyết định. Một số ứng dụng dữ liệu chung trong kiến trúc dữ liệu lớn của ngân hàng có thể kể đến như sau:
 
- Quản lí chỉ số: Việc thiết lập nền tảng chỉ số giúp quản lí thống nhất các chỉ số từ quá trình định nghĩa, tính toán, ứng dụng và hủy bỏ trong toàn bộ vòng đời. Bằng cách xác định từng chỉ số, vấn đề dữ liệu rác do việc định nghĩa chỉ số trùng lặp và tính toán không hợp lệ có thể được giải quyết. Giao diện dữ liệu và giao diện dịch vụ được thống nhất để đáp ứng yêu cầu ứng dụng và thiết lập cơ chế giám sát để cung cấp phân tích tác động. Ngân hàng có thể sử dụng các chỉ số tổ chức, chỉ số khách hàng và chỉ số nhân viên trong ba danh mục, sau đó sắp xếp và điều chỉnh các chỉ số theo từng loại ứng dụng. 
 
- Quản lí bảng điều khiển: Quản lí bảng điều khiển là hệ thống trung tâm dữ liệu cung cấp hỗ trợ quyết định một điểm dừng cho cấp quản lí cấp cao, cho phép tập trung nhanh chóng vào các chỉ số cốt lõi, cấu hình và hiển thị linh hoạt các chỉ số và phân tích thời gian thực các hoạt động kinh doanh. Giá trị kinh doanh của quản lí bảng điều khiển nằm ở các chỉ số về quy mô kinh doanh của ngân hàng, doanh thu, rủi ro và quy mô thị trường, để có thể hiển thị toàn diện tình trạng và tiến độ hoàn thành mục tiêu, giúp hiểu xem chỉ số hoạt động kinh doanh hiện tại có phát triển cân đối hay không và liệu quy mô thị trường có trong tình trạng phát triển tốt hay không.
 
- Phân tích tự phục vụ cho phép người dùng cuối, bao gồm nhân viên kinh doanh, nhân viên vận hành và bảo trì có khả năng phân tích trực tiếp nguồn dữ liệu hoặc các chủ đề kinh doanh được phép truy cập. Các chức năng của phân tích tự phục vụ bao gồm tải xuống dữ liệu, trình bày đồ họa và phân tích từ nhiều góc nhìn khác nhau. Người dùng cuối cũng có thể xây dựng các khối đa chiều và xem xét các chỉ số như quản lí tài sản và trách nhiệm, quản lí rủi ro tín dụng, quản lí sản phẩm và dịch vụ, quản lí chi phí và lợi nhuận và quản lí quan hệ khách hàng để nâng cao mức độ quản lí tổng thể.
 
- Phòng thí nghiệm dữ liệu cho phép các nhà phân tích dữ liệu nhanh chóng xây dựng các mô hình dự đoán và áp dụng chúng vào các chiến dịch tiếp thị. Điều này giúp cải thiện quá trình ra quyết định và cung cấp hỗ trợ cho việc triển khai sản phẩm mới, điều chỉnh hướng kinh doanh. Dữ liệu mẫu trong phòng thí nghiệm dữ liệu được thu thập trực tiếp từ cơ sở dữ liệu xử lí đồng thời quy mô lớn.
 
- Quản lí báo cáo đảm bảo sản xuất và xuất bản các báo cáo cố định theo kiểu truyền thống và phân loại, quản lí báo cáo theo từng dòng kinh doanh khác nhau. Ứng dụng có thể hiển thị báo cáo thông qua cơ sở dữ liệu xử lí đồng thời quy mô lớn hoặc cơ sở dữ liệu giao dịch.
 
- Phân tích nhãn khách hàng là một phương pháp quan trọng để đánh dấu khách hàng trong một bức tranh tổng thể. Nhãn khách hàng được xác định dựa trên các chỉ số giao dịch, chỉ số tiền gửi, chỉ số cho vay, thông tin kênh... Các nhãn khách hàng được cải thiện thông qua việc tự động điều chỉnh mô hình nhãn khách hàng dựa trên dữ liệu phản hồi từ người dùng. Ứng dụng yêu cầu một lượng lớn dữ liệu nội bộ và dữ liệu bên ngoài, kết quả nhãn đạt được thông qua khả năng tính toán và phân tích hiệu quả của nền tảng dữ liệu lớn.
 
5. Kết luận
 
Bài viết giới thiệu một kiến trúc dữ liệu lớn kết hợp các mô hình cơ sở dữ liệu khác nhau dựa trên tình trạng dữ liệu của ngân hàng. Một hệ sinh thái xử lí dữ liệu được xây dựng có cấu trúc và không có cấu trúc cho phép xử lí dữ liệu thời gian thực bằng các cơ sở dữ liệu giao dịch, cơ sở dữ liệu xử lí đồng thời quy mô lớn, Hadoop và nền tảng Spark/Storm. Đồng thời áp dụng phương pháp tải dữ liệu trích xuất - tải (nạp) - xử lí dựa trên các tính năng hiệu suất cao của xử lí đồng thời quy mô lớn.
 
Tiến hành xác thực hiệu suất giữa cơ sở dữ liệu Oracle và xử lí đồng thời quy mô lớn với các chế độ xử lí dữ liệu, bao gồm tốc độ và khả năng nén, việc sử dụng xử lí đồng thời quy mô lớn như một cơ sở dữ liệu xử lí dữ liệu có cấu trúc trong kiến trúc thông tin lớn, mang lại nhiều hiệu quả và lợi ích.
 
Kiến trúc dữ liệu lớn dựa trên cơ sở dữ liệu xử lí đồng thời quy mô lớn mang lại hiệu suất cao, khả năng mở rộng, tích hợp linh hoạt và bảo mật dữ liệu cho ngân hàng. Điều này giúp các ngân hàng nắm bắt được thông tin quan trọng từ dữ liệu và tối ưu hóa quy trình kinh doanh, từ đó cải thiện dịch vụ và tạo ra lợi ích lớn cho khách hàng và tổ chức ngân hàng.
 
 
Tài liệu tham khảo:
 
1. S. Ma et al., “Bank Big Data Architecture Based on Massive Parallel Processing Database” 2018 15th International Symposium on Pervasive Systems, Algorithms and Networks (I-SPAN), Yichang, China, 2018, pages 93 - 99.
2. Kiron D. “Lessons from becoming a data-driven organization”. MIT Sloan Management Review, 2017, 58 (2).
3. Wang, Xiaokang, et al. “A Distributed HOSVD Method With Its Incremental Computation for Big Data in Cyber-Physical-Social Systems”. IEEE Transactions on Computational Social Systems 5.2 (2018), pages 481 - 492.
4. Wang, Xiaokang, et al. “A cloud-edge computing framework for cyberphysical-social services”. IEEE Communications Magazine 55.11 (2017), pages 80 - 85.
5. Su, Fei, et al. “A Survey on Big Data Analytics Technologies”. International Conference on 5G for Future Wireless Networks. Springer, Cham, 2017.
6. Storey V C, Song I Y. “Big data technologies and Management: What conceptual modeling can do”. Data & Knowledge Engineering, 2017, 108, pages 50 - 67.
7. Ameloot T J, Geck G, Ketsman B, et al. “Reasoning on data partitioning for single-round multi-join evaluation in massively parallel systems”. Communications of the ACM, 2017, 60(3), pages 93 - 100.
8. Chaonian G., Shenglan M., Hao W., Shuhan C., Tongsen W. “LoC: Poverty Alleviation Loan Management System based on Smart Contracts”. The 2018 IEEE International Conference on Blockchain. IEEE, 2018. 
9. Shenglan M., Hao W., HongNing D., Shuhan C., Ruihua Y., Tongsen W. “A Blockchain-based Risk and Information System Control Framework”. The 3rd IEEE Cyber Science and Technology Congress. IEEE, 2018

ThS. Lý Thu Trang
Trường Đại học Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên

Bình luận Ý kiến của bạn sẽ được kiểm duyệt trước khi đăng. Vui lòng gõ tiếng Việt có dấu
Đóng lại ok
Bình luận của bạn chờ kiểm duyệt từ Ban biên tập
Thực tiễn báo cáo ESG của hệ thống ngân hàng Việt Nam
Thực tiễn báo cáo ESG của hệ thống ngân hàng Việt Nam
06/05/2024 312 lượt xem
Bài viết này đánh giá thực trạng ngân hàng trong việc thực thi phát triển bền vững và công bố báo cáo ESG (môi trường, xã hội, quản trị), từ đó, đưa ra một số khuyến nghị điều chỉnh để hệ thống ngân hàng Việt Nam thực hiện nhiệm vụ được Chính phủ giao trong hành trình thực hiện cam kết phát thải ròng bằng "0" vào năm 2050 của Việt Nam.
Dự đoán rủi ro tín dụng sử dụng học sâu
Dự đoán rủi ro tín dụng sử dụng học sâu
03/05/2024 398 lượt xem
Việc đánh giá và dự đoán khả năng trả nợ của khách hàng là rất quan trọng để ngân hàng giảm thiểu rủi ro. Vì lí do này, các ngân hàng thường xây dựng hệ thống xử lí yêu cầu cho vay dựa trên tình trạng của khách hàng, chẳng hạn như tình trạng việc làm, lịch sử tín dụng...
Tăng cường thực hiện trách nhiệm xã hội tại các ngân hàng thương mại Việt Nam
Tăng cường thực hiện trách nhiệm xã hội tại các ngân hàng thương mại Việt Nam
01/05/2024 450 lượt xem
Một mục tiêu quan trọng của doanh nghiệp nói chung và ngân hàng nói riêng là tìm kiếm lợi ích cho cổ đông. Trong quá trình hoạt động kinh doanh, ngân hàng thương mại (NHTM) cũng là một nhân tố hình thành các hoạt động xã hội với những cá nhân và tổ chức liên quan, tạo nên mối liên kết với các chủ thể trong nền kinh tế.
Nâng cao hiệu quả quản lý gian lận số tại các ngân hàng thương mại Việt Nam
Nâng cao hiệu quả quản lý gian lận số tại các ngân hàng thương mại Việt Nam
24/04/2024 743 lượt xem
Thời gian qua, quá trình số hóa diễn ra liên tục và mạnh mẽ trong lĩnh vực tài chính, ngân hàng và đã mang lại những lợi ích đáng kể cho sự ổn định của khu vực tài chính nói riêng, sự phát triển của nền kinh tế nói chung. Nhờ quá trình này mà các tổ chức tài chính có khả năng cung cấp đa dạng các dịch vụ tài chính, ngân hàng với chi phí thấp hơn, giúp nâng cao trải nghiệm và khả năng tiếp cận sản phẩm, dịch vụ của khách hàng, tăng cường minh bạch trong giao dịch tài chính và phản ứng nhanh chóng với các cuộc khủng hoảng.
Chia sẻ dữ liệu giữa các tổ chức, doanh nghiệp - định hướng  phát triển trong thời đại 4.0
Chia sẻ dữ liệu giữa các tổ chức, doanh nghiệp - định hướng phát triển trong thời đại 4.0
23/04/2024 648 lượt xem
Dữ liệu đóng vai trò thiết yếu trong hoạt động của hầu hết các doanh nghiệp. Việc chia sẻ dữ liệu mở ra những cơ hội mới, tạo thêm nhiều giá trị, đồng thời góp phần bồi đắp kho dữ liệu hiện có, khai phá tiềm năng tối ưu hóa và đổi mới mô hình kinh doanh.
Thúc đẩy tín dụng liên kết bền vững đám bảo tiến độ thực hiện cam kết Net-Zero Carbon và phát triển bền vững ở Việt Nam
Thúc đẩy tín dụng liên kết bền vững đám bảo tiến độ thực hiện cam kết Net-Zero Carbon và phát triển bền vững ở Việt Nam
19/04/2024 0 lượt xem
Do nhu cầu tài chính phục vụ cho quá trình chuyển đổi của các doanh nghiệp ngày càng cao nên thị trường tín dụng liên kết bền vững toàn cầu tiếp tục tăng trưởng mạnh mẽ. Việt Nam cần nhanh chóng thúc đẩy và mở rộng hoạt động cho vay nhằm hỗ trợ các doanh nghiệp ở đa dạng ngành, nghề thực hiện chiến lược phát triển bền vững.
Thực hiện tăng trưởng xanh - Tiền đề cho phát triển bền vững của Việt Nam
Thực hiện tăng trưởng xanh - Tiền đề cho phát triển bền vững của Việt Nam
12/04/2024 1.375 lượt xem
Phát triển bền vững đang là mục tiêu quan trọng của Việt Nam trong những năm qua và trong tương lai, theo đó tăng trưởng xanh với sự kết hợp chặt chẽ, hợp lí, hài hòa giữa phát triển kinh tế - xã hội và bảo vệ môi trường chính là tiền đề để thực hiện mục tiêu này.
Thúc đẩy tín dụng liên kết bền vững đảm bảo tiến độ thực hiện cam kết Net-Zero Carbon và phát triển bền vững ở Việt Nam
Thúc đẩy tín dụng liên kết bền vững đảm bảo tiến độ thực hiện cam kết Net-Zero Carbon và phát triển bền vững ở Việt Nam
10/04/2024 1.390 lượt xem
Bài viết đề xuất một số khuyến nghị về xây dựng, thực thi chính sách tín dụng liên kết bền vững để góp phần đảm bảo tiến độ thực hiện cam kết Net-Zero Carbon và chiến lược phát triển bền vững tại Việt Nam...
Thực tiễn triển khai ESG tại các ngân hàng thương mại Việt Nam
Thực tiễn triển khai ESG tại các ngân hàng thương mại Việt Nam
05/04/2024 1.581 lượt xem
Nghiên cứu trình bày về tầm quan trọng của ESG (Environmental - môi trường, Social - xã hội, Governance - quản trị) trong quá trình phát triển bền vững của ngân hàng, thực tiễn triển khai các hoạt động về ESG, các kết quả đạt được và thách thức, từ đó đề xuất giải pháp thúc đẩy triển khai ESG trong hệ thống ngân hàng tại Việt Nam.
Tác động của minh bạch và công bố thông tin trách nhiệm xã hội đến hiệu quả tài chính tại các ngân hàng thương mại cổ phần Việt Nam
Tác động của minh bạch và công bố thông tin trách nhiệm xã hội đến hiệu quả tài chính tại các ngân hàng thương mại cổ phần Việt Nam
03/04/2024 1.409 lượt xem
Nghiên cứu này tập trung tìm hiểu tác động của tính minh bạch và công bố thông tin trách nhiệm xã hội của doanh nghiệp (Corporate social responsibility - CSR) đến hiệu quả tài chính của các ngân hàng.
Hoàn thiện hệ thống chỉ tiêu giám sát, đánh giá hiệu quả đầu tư vốn nhà nước tại các ngân hàng thương mại Việt Nam
Hoàn thiện hệ thống chỉ tiêu giám sát, đánh giá hiệu quả đầu tư vốn nhà nước tại các ngân hàng thương mại Việt Nam
02/04/2024 1.311 lượt xem
Bài viết dựa trên cơ sở tổng quan về giám sát tài chính, tham khảo kinh nghiệm của một số nước trên thế giới để rút ra một số bài học và khuyến nghị đối với công tác giám sát tài chính, đánh giá hiệu quả hoạt động của các ngân hàng thương mại (NHTM) Nhà nước tại Việt Nam hiện nay.
Kinh nghiệm thực thi chính sách tài chính khí hậu trên thế giới và một số khuyến nghị cho Việt Nam
Kinh nghiệm thực thi chính sách tài chính khí hậu trên thế giới và một số khuyến nghị cho Việt Nam
01/04/2024 1.330 lượt xem
Một trong những vấn đề khó khăn nhất hiện nay đối với các quốc gia, đặc biệt là các quốc gia đang phát triển, đó là việc thiếu nguồn lực tài chính để ứng phó với biến đổi khí hậu, hay còn gọi là tài chính khí hậu...
Xây dựng Sổ tay kiểm toán nội bộ của Ngân hàng Nhà nước Việt Nam
Xây dựng Sổ tay kiểm toán nội bộ của Ngân hàng Nhà nước Việt Nam
28/03/2024 1.420 lượt xem
Để nâng cao tính chuyên nghiệp, chất lượng, hiệu quả công tác kiểm toán nội bộ NHNN phù hợp thông lệ quốc tế và các quy định về kiểm toán nội bộ của Việt Nam, một trong những yêu cầu hiện nay là nghiên cứu, rà soát, ban hành Sổ tay Kiểm toán nội bộ NHNN nhằm tập hợp, hệ thống hóa các quy định chung về kiểm toán nội bộ của NHNN.
Nâng cao chất lượng Chatbot chăm sóc khách hàng tại các ngân hàng thương mại Việt Nam
Nâng cao chất lượng Chatbot chăm sóc khách hàng tại các ngân hàng thương mại Việt Nam
25/03/2024 1.808 lượt xem
Trong kỉ nguyên số, Chatbot đóng vai trò vô cùng quan trọng và được ứng dụng trong nhiều lĩnh vực kinh tế, xã hội, trong đó có lĩnh vực ngân hàng.
Hạch toán phái sinh ngoại hối tại các tổ chức tín dụng và công tác quản lý ngoại hối của cơ quan nhà nước
Hạch toán phái sinh ngoại hối tại các tổ chức tín dụng và công tác quản lý ngoại hối của cơ quan nhà nước
22/03/2024 2.631 lượt xem
Trong thị trường kinh tế, giao dịch phái sinh là một dạng hợp đồng dựa trên giá trị các loại tài sản cơ sở khác nhau như hàng hóa, chỉ số, lãi suất hay cổ phiếu (giấy tờ có giá).
Giá vàngXem chi tiết

GIÁ VÀNG - XEM THEO NGÀY

Khu vực

Mua vào

Bán ra

HÀ NỘI

Vàng SJC 1L

83.700

85.900

TP.HỒ CHÍ MINH

Vàng SJC 1L

83.700

85.900

Vàng SJC 5c

83.700

85.920

Vàng nhẫn 9999

73.200

75.000

Vàng nữ trang 9999

73.100

74.100


Ngoại tệXem chi tiết
TỶ GIÁ - XEM THEO NGÀY 
Ngân Hàng USD EUR GBP JPY
Mua vào Bán ra Mua vào Bán ra Mua vào Bán ra Mua vào Bán ra
Vietcombank 25,127 25,457 26,616 28,075 31,023 32,342 160.12 169.47
BIDV 25,157 25,457 26,757 27,987 31,089 32,385 160.72 169.18
VietinBank 25,173 25,457 26,857 27,946 31,480 32,490 161.8 169.75
Agribank 25,150 25,457 26,797 28,111 31,196 32,369 161.56 169.75
Eximbank 25,110 25,190 26,880 26,961 31,400 31,463 162.35 162.84
ACB 25,130 25,457 26,942 27,645 31,531 32,225 161.93 167.32
Sacombank 25,142 25,457 27,058 27,818 31,602 32,320 163.01 168.04
Techcombank 25,162 25,457 26,704 28,055 31,105 32,428 158.36 170.76
LPBank 24,927 25,457 26,593 28,097 31,455 32,399 160.61 171.84
DongA Bank 25,190 25,457 26,960 27,670 31,420 32,300 160.40 167.70
(Cập nhật trong ngày)
Lãi SuấtXem chi tiết
(Cập nhật trong ngày)
Ngân hàng
KKH
1 tuần
2 tuần
3 tuần
1 tháng
2 tháng
3 tháng
6 tháng
9 tháng
12 tháng
24 tháng
Vietcombank
0,10
0,20
0,20
-
1,60
1,60
1,90
2,90
2,90
4,60
4,70
BIDV
0,10
-
-
-
1,70
1,70
2,00
3,00
3,00
4,70
4,70
VietinBank
0,10
0,20
0,20
0,20
1,70
1,70
2,00
3,00
3,00
4,70
4,80
ACB
0,01
0,50
0,50
0,50
2,10
2,30
2,50
3,30
3,60
4,30
4,40
Sacombank
-
0,50
0,50
0,50
2,10
2,30
2,50
3,50
3,60
4,50
4,80
Techcombank
0,10
-
-
-
2,10
2,10
2,30
3,40
3,45
4,30
4,30
LPBank
0.20
0,20
0,20
0,20
1,80
1,80
2,10
3,20
3,20
5,00
5,30
DongA Bank
0,50
0,50
0,50
0,50
3,30
3,30
3,30
4,30
4,50
4,80
5,00
Agribank
0,20
-
-
-
1,60
1,60
1,90
3,00
3,00
4,70
4,70
Eximbank
0,50
0,50
0,50
0,50
2,90
3,10
3,20
4,00
4,00
4,80
5,10

Liên kết website
Bình chọn trực tuyến
Nội dung website có hữu ích với bạn không?