Tính toán song song là gì

Bài giảng cung cấp cho người học các kiến thức: Giới thiệu về tính toán song song, thuật ngữ tính toán song song, mô hình lập trình song song, nguyên lý hệ điều hành. Hi vọng đây sẽ là một tài liệu hữu ích dành cho các bạn sinh viên đang theo học môn dùng làm tài liệu học tập và nghiên cứu. chi tiết nội dung tài liệu. | 5/11/16 TÍNH TOÁN SONG SONG PARALLEL COMPUTING ThS. Phan Trọng Tiến Bộ môn CNPM – Khoa CNTT Học Viện Nông nghiệp Việt Nam Email: phantien84@ Website: 1/1/2015 Tính toán song song 1 Tóm tắt q Đây là bài thuyết trình bao gồm các kiến thức cơ bản của tính toán song song. Bắt đầu với những kiến thức tổng quan và một vài khái niệm và các thuật ngữ tính toán song song, các chủ đề về các kiến trúc song song hoá và tìm hiểu về các mô hình lập trình song song. Các chủ đề này sẽ được đi kèm với các bài thảo luận về một số vấn đề liên quan trong việc thiết kế các chương trình song song hoá. Phần cuối cùng của bài thuyết trình sẽ đi vào nghiên cứu cách song song hoá một số bài toán lập trình tuần tự. q Điều kiện tiên quyết: Nguyên lý hệ điều hành 1/1/2015 Tính toán song song 2 1 5/11/16 GIỚI THIỆU VỀ TÍNH TOÁN SONG SONG Introduction to Parallel Computing 1/1/2015 Tính toán song song 3 Tính toán song song là gì? (1) q Thông thường, phần mềm được viết cho tính toán tuần tự (serial computation): q Được chạy trên máy tính đơn với một bộ xử lý trung tâm (CPU). q Mộ bài toán (problem) sẽ được chia thành một chuỗi các câu lệnh rời rạc. q Các câu lệnh được thực hiện một cách tuần tự. q Tại mỗi thời điểm chỉ thực hiện được một câu lệnh. 1/1/2015 Tính toán song song 4 2 5/11/16 Tính toán song song là gì? (2) q Ý nghĩa đơn giản nhất của tính toán song song là việc sử dụng đồng thời nhiều tài nguyên máy tính để giải quyết bài toán về tính toán. q Để chạy trên nhiều CPU q Một bài toán được chia thành các phần riêng biệt mà có thể được giải quyết đồng thời. q Mỗi phần được chia nhỏ hơn dưới một dãy các câu lệnh q Các câu lệnh của mỗi phần thực thi đồng thời trên các CPU khác nhau 1/1/2015 Tính toán song song 5 Tính toán song song: tài nguyên q Các nguồn tài nguyên tính toán có thể bao gồm: q Một máy tính đơn với nhiều bộ vi xử lý (CPU); q Một máy tính đơn với một hoặc nhiều CPU và một số tài nguyên chuyên dụng như

Tính toán song song là một loại tính toán trong đó nhiều phép tính hoặc quá trình được thực hiện đồng thời. [1] Các vấn đề lớn thường có thể được chia thành các vấn đề nhỏ hơn, sau đó có thể được giải quyết cùng một lúc. Có nhiều hình thức khác nhau của tính toán song song: chút cấp , hướng dẫn cấp , dữ liệu , và nhiệm vụ xử lý song song . Tính song song từ lâu đã được sử dụng trong tính toán hiệu suất cao , nhưng đã nhận được sự quan tâm rộng rãi hơn do các hạn chế vật lý ngăn cản việc mở rộng tần số . [2]Do tiêu thụ điện năng (và do đó là sinh nhiệt) của máy tính đã trở thành mối quan tâm trong những năm gần đây, [3] tính toán song song đã trở thành mô hình thống trị trong kiến trúc máy tính , chủ yếu ở dạng bộ vi xử lý đa lõi . [4]

Tính toán song song có liên quan chặt chẽ với tính toán đồng thời —chúng thường được sử dụng cùng nhau và thường được kết hợp với nhau, mặc dù cả hai khác biệt: có thể có song song mà không đồng thời (chẳng hạn như song song mức bit ) và đồng thời không song song (chẳng hạn như đa nhiệm bằng cách chia sẻ thời gian trên một CPU lõi đơn). [5] [6] Trong tính toán song song, một tác vụ tính toán thường được chia thành một số, thường là nhiều tác vụ con rất giống nhau có thể được xử lý độc lập và kết quả của chúng được kết hợp sau đó, khi hoàn thành. Ngược lại, trong tính toán đồng thời, các quá trình khác nhau thường không giải quyết các nhiệm vụ liên quan; khi chúng làm như vậy, như điển hình trong máy tính phân tán, các nhiệm vụ riêng biệt có thể có bản chất khác nhau và thường yêu cầu một số thông tin liên lạc giữa các quá trình trong quá trình thực hiện.

Máy tính song song có thể được phân loại sơ bộ theo mức độ mà phần cứng hỗ trợ song song, với máy tính đa lõi và đa bộ xử lý có nhiều phần tử xử lý trong một máy duy nhất, trong khi cụm , MPP và lưới sử dụng nhiều máy tính để làm việc trên cùng một máy nhiệm vụ. Các kiến trúc máy tính song song chuyên biệt đôi khi được sử dụng cùng với các bộ xử lý truyền thống, để tăng tốc các tác vụ cụ thể.

Trong một số trường hợp, song song là minh bạch đối với người lập trình, chẳng hạn như song song cấp bit hoặc cấp lệnh, nhưng các thuật toán song song rõ ràng , đặc biệt là những thuật toán sử dụng đồng thời, khó viết hơn so với các thuật toán tuần tự , [7] bởi vì đồng thời giới thiệu một số thuật toán mới các lớp lỗi phần mềm tiềm ẩn , trong đó điều kiện chủng tộc là phổ biến nhất. Giao tiếp và đồng bộ hóa giữa các nhiệm vụ con khác nhau thường là một số trở ngại lớn nhất để đạt được hiệu suất chương trình song song tối ưu.

Giới hạn trên lý thuyết về tốc độ của một chương trình đơn lẻ do kết quả của quá trình song song được đưa ra bởi định luật Amdahl .

Biểu diễn bằng đồ thị của định luật Amdahl . Tốc độ của một chương trình từ song song bị giới hạn bởi lượng chương trình có thể được song song hóa. Ví dụ: nếu 90% chương trình có thể được chạy song song, tốc độ tối đa theo lý thuyết khi sử dụng tính toán song song sẽ là 10 lần cho dù có bao nhiêu bộ xử lý được sử dụng.

Giả sử rằng một nhiệm vụ có hai phần độc lập, Một và B . Phần B chiếm khoảng 25% thời gian của toàn bộ quá trình tính toán. Bằng cách làm việc rất chăm chỉ, người ta có thể làm cho phần này nhanh hơn 5 lần, nhưng điều này chỉ làm giảm thời gian cho toàn bộ tính toán một chút. Ngược lại, một người có thể cần thực hiện ít công việc hơn để làm cho phần A nhanh gấp đôi. Điều này sẽ làm cho việc tính toán nhanh hơn nhiều so với tối ưu hóa phần B , mặc dù tốc độ của phần B lớn hơn theo tỷ lệ, (5 lần so với 2 lần).

Taiwania 3 của Đài Loan , một thiết bị siêu máy tính song song đã tham gia nghiên cứu COVID-19 .

Một bộ xử lý kinh điển không có đường ống . Phải mất năm chu kỳ đồng hồ để hoàn thành một lệnh và do đó bộ xử lý có thể đưa ra hiệu suất vùng phụ ( IPC = 0,2 <1 ).

Một bộ xử lý pipelined năm giai đoạn chuẩn . Trong trường hợp tốt nhất, cần một chu kỳ đồng hồ để hoàn thành một lệnh và do đó bộ xử lý có thể đưa ra hiệu suất vô hướng ( IPC = 1 ).

Một bộ xử lý pipelined năm giai đoạn chuẩn với hai đơn vị thực thi. Trong trường hợp tốt nhất, phải mất một chu kỳ đồng hồ để hoàn thành hai lệnh và do đó bộ xử lý có thể đưa ra hiệu suất siêu phương ( IPC = 2> 1 ).

Chế độ xem logic của kiến trúc truy cập bộ nhớ không đồng nhất (NUMA). Các bộ xử lý trong một thư mục có thể truy cập bộ nhớ của thư mục đó với độ trễ ít hơn so với việc chúng có thể truy cập bộ nhớ trong bộ nhớ của thư mục kia.