29.3. 프로그래밍 언어 파이썬(Python)에서의 병렬화 및 동시성

by

프로그래밍 언어 파이썬(Python)의 스레드와 프로세스 이해

파이썬(Python)의 스레드(Thread)와 프로세스(Process)는 병렬 처리를 위해 사용되는 중요한 개념입니다. 스레드와 프로세스는 모두 동시에 여러 작업을 수행할 수 있도록 도와주지만, 각각의 특징과 용도가 있습니다.

프로세스(Process)

프로세스는 운영체제로부터 자원을 할당받아 실행 중인 프로그램을 의미합니다. 각 프로세스는 독립적인 메모리 공간을 가지며, 다른 프로세스와는 독립적으로 실행됩니다. 프로세스는 각자의 주소 공간을 가지고 있기 때문에 서로 간섭하지 않고 안전하게 실행됩니다.


import os

# 부모 프로세스 ID 출력
print("부모 프로세스 ID:", os.getpid())

# 새로운 프로세스 생성
pid = os.fork()

if pid == 0:
    # 자식 프로세스에서 실행되는 코드
    print("자식 프로세스 ID:", os.getpid())
else:
    # 부모 프로세스에서 실행되는 코드
    print("부모 프로세스 ID:", os.getpid())

스레드(Thread)

스레드는 프로세스 내에서 실행되는 작업의 단위로, 프로세스 내의 자원을 공유합니다. 스레드는 프로세스 내의 메모리를 공유하기 때문에 데이터를 주고 받기가 용이하며, 여러 스레드가 동시에 실행될 수 있습니다. 하나의 프로세스 내에서 여러 스레드를 생성하여 병렬 처리를 구현할 수 있습니다.


import threading

# 스레드에서 실행할 함수
def print_numbers():
    for i in range(1, 6):
        print(i)

# 스레드 생성
thread = threading.Thread(target=print_numbers)

# 스레드 시작
thread.start()

# 메인 스레드에서 실행할 코드
for letter in ['a', 'b', 'c', 'd', 'e']:
    print(letter)

이렇게 파이썬에서는 프로세스와 스레드를 활용하여 병렬 처리를 구현할 수 있습니다. 프로세스는 독립적인 실행 단위이며, 스레드는 프로세스 내에서 실행되는 작업의 단위입니다. 각각의 장단점을 고려하여 적절히 활용하면 효율적인 프로그램을 개발할 수 있습니다.

프로그래밍 언어 파이썬(Python)에서의 멀티스레딩 방법

멀티스레딩은 프로그램이 동시에 여러 작업을 수행할 수 있도록 하는 기술입니다. 파이썬에서 멀티스레딩을 구현하는 방법에는 threading 모듈을 사용하는 것이 일반적입니다.

먼저 threading 모듈을 import하여 스레드를 생성하고 실행할 수 있습니다. 아래는 간단한 예제 코드입니다.


import threading

# 스레드로 실행할 함수 정의
def print_numbers():
    for i in range(1, 6):
        print(f"Number: {i}")

# 스레드 생성
thread = threading.Thread(target=print_numbers)

# 스레드 시작
thread.start()

# 메인 스레드는 독립적으로 실행
for letter in ['a', 'b', 'c']:
    print(f"Letter: {letter}")

위 예제 코드에서 print_numbers 함수는 1부터 5까지 숫자를 출력하는 작업을 수행합니다. 이 함수를 스레드로 실행하기 위해 threading.Thread를 사용하여 스레드를 생성하고 start 메서드를 호출하여 실행합니다. 동시에 메인 스레드는 ‘a’, ‘b’, ‘c’ 문자를 출력하는 작업을 수행합니다.

멀티스레딩을 사용하면 여러 작업을 동시에 처리하여 프로그램의 성능을 향상시킬 수 있습니다. 그러나 스레드 간의 동기화 문제에 주의해야 하며, 적절한 Lock 등을 활용하여 스레드 간의 충돌을 방지해야 합니다.

프로그래밍 언어 파이썬(Python)에서의 멀티프로세싱 방법

멀티프로세싱은 파이썬에서 여러 프로세스를 동시에 실행하여 병렬 처리를 가능하게 하는 기술입니다. 멀티프로세싱을 사용하면 CPU 코어를 최대한 활용하여 작업을 빠르게 처리할 수 있습니다. 파이썬에서 멀티프로세싱을 구현하는 방법은 multiprocessing 모듈을 사용하는 것이 일반적입니다.

멀티프로세싱을 사용하기 위해서는 먼저 multiprocessing 모듈을 임포트해야 합니다. 그리고 Process 클래스를 사용하여 각 프로세스를 생성하고 실행할 함수를 정의해야 합니다. 아래는 간단한 예제 코드입니다. 


import multiprocessing

# 각 프로세스가 실행할 함수
def worker(num):
    print(f'Worker: {num}')

if __name__ == '__main__':
    # 프로세스 생성
    processes = []
    for i in range(5):
        p = multiprocessing.Process(target=worker, args=(i,))
        processes.append(p)
        p.start()

    # 모든 프로세스가 종료될 때까지 대기
    for p in processes:
        p.join()

    print('모든 작업 완료')

위 예제 코드에서는 worker 함수를 정의하고, 이 함수를 실행할 프로세스를 생성하여 병렬로 실행합니다. 프로세스들이 모두 종료될 때까지 대기한 뒤 ‘모든 작업 완료’를 출력합니다. 이렇게 멀티프로세싱을 사용하면 각 프로세스가 독립적으로 실행되므로 병렬 처리가 가능해집니다.

프로그래밍 언어 파이썬(Python)의 철학에 따른 병렬화 결정

파이썬은 “명확함과 간결함을 선호하는 것이 모호함과 복잡함을 선호하는 것보다 좋다”는 철학을 가지고 있습니다. 이 철학은 파이썬의 병렬화 결정에도 영향을 미치고 있습니다.

파이썬은 GIL(Global Interpreter Lock)이라는 메커니즘을 사용하여 한 번에 하나의 스레드만 파이썬 바이트코드를 실행하도록 제한합니다. 이는 병렬 처리를 위해 여러 개의 스레드를 사용하는 경우에 제약을 가할 수 있지만, 파이썬의 철학에 따라 이러한 제약을 받아들이고 있습니다.

파이썬은 병렬화를 위해 다음과 같은 방법을 제공합니다:

  • 멀티프로세싱(Multiprocessing): 별도의 프로세스를 생성하여 병렬 처리를 수행하는 방식으로 GIL의 영향을 받지 않습니다.
  • 쓰레딩(Threading): GIL 때문에 CPU-bound 작업에는 적합하지 않지만 I/O-bound 작업에는 유용하게 사용할 수 있습니다.
  • 비동기 프로그래밍(Asynchronous programming): asyncio 모듈을 사용하여 비동기 작업을 처리할 수 있습니다.

아래는 멀티프로세싱을 사용한 간단한 병렬화 예제 코드입니다:


import multiprocessing

def square(n):
    return n * n

if __name__ == '__main__':
    numbers = [1, 2, 3, 4, 5]
    
    with multiprocessing.Pool(processes=2) as pool:
        results = pool.map(square, numbers)
    
    print(results)

이 코드는 1부터 5까지의 숫자를 제곱하여 병렬로 처리하고, 결과를 출력하는 간단한 예제입니다. 멀티프로세싱을 사용하여 병렬 처리를 수행하고 있습니다.

프로그래밍 언어 파이썬(Python)에서의 비동기 처리 및 코루틴 활용.

파이썬에서의 비동기 처리와 코루틴 활용에 대해 알아보겠습니다.

비동기 처리는 프로그램이 여러 작업을 동시에 처리할 수 있도록 하는 방법으로, I/O 작업이나 네트워크 통신 등의 작업을 효율적으로 처리할 수 있습니다. 파이썬에서는 asyncio 라이브러리를 통해 비동기 처리를 구현할 수 있습니다.

코루틴은 제너레이터(generator)를 활용하여 비동기 작업을 수행하는 기법으로, async def 키워드를 사용하여 정의할 수 있습니다. 코루틴은 실행 중간에 일시정지되고 다른 작업을 수행한 뒤 다시 이어서 실행할 수 있는 특징을 가지고 있습니다.

아래는 간단한 예제 코드를 통해 비동기 처리와 코루틴의 활용을 보여드리겠습니다.


import asyncio

async def greet(name):
    print("Hello, " + name)
    await asyncio.sleep(1)
    print("Goodbye, " + name)

async def main():
    task1 = asyncio.create_task(greet("Alice"))
    task2 = asyncio.create_task(greet("Bob"))
    
    await task1
    await task2

asyncio.run(main())

위 예제 코드에서는 greet 함수를 코루틴으로 정의하고, main 함수에서 asyncio.create_task를 통해 각각의 greet 함수를 비동기적으로 실행합니다. await 키워드를 통해 각 작업이 완료될 때까지 기다린 후 결과를 출력합니다.

Leave a Comment