귀하가받은 FIR 및 SMA 답변은 귀하의 경우에 적합하지만보다 일반적인 접근 방식을 추진할 기회를 갖고 싶습니다.

여기에있는 것은 데이터 스트림 입니다. 모든 데이터를 한 번에 메모리에로드 해야하는 3 가지 큰 단계 (데이터 가져 오기, 계산, 출력 결과)로 프로그램을 구성하는 대신 파이프 라인 으로 구성 할 수 있습니다 .

파이프 라인은 스트림으로 시작하여 변환 한 후 싱크로 푸시합니다.

귀하의 경우 파이프 라인은 다음과 같습니다.

1. 디스크에서 항목을 읽고 한 번에 하나씩 항목을 내 보냅니다.
2. 한 번에 하나씩 항목을 받으십시오.받은 각 항목에 대해 마지막으로받은 5 개의 항목 (라운드 버퍼가 들어오는 위치)을 방출하십시오.
3. 각 그룹마다 결과를 계산하기 위해 한 번에 5 개의 항목을받습니다.
4. 결과를 받아 디스크에 씁니다.

C ++은 스트림보다는 반복자를 사용하는 경향이 있지만 정직한 스트림은 모델링하기가 쉽습니다 ( 스트림과 비슷한 범위에 대한 제안 이 있습니다).

template <typename T>
class Stream {
public:
    virtual boost::optional<T> next() = 0;
    virtual ~Stream() {}
};

class ReaderStream: public Stream<Item> {
public:
    boost::optional<Item> next() override final;

private:
    std::ifstream file;
};

class WindowStream: public Stream<Window> {
public:
    boost::optional<Window> next() override final;

private:
    Window window;
    Stream<Item>& items;
};

class ResultStream: public Stream<Result> {
public:
    boost::optional<Result> next() override final;

private:
    Stream<Window>& windows;
};

파이프 라인은 다음과 같습니다.

ReaderStream itemStream("input.txt");
WindowStream windowStream(itemsStream, 5);
ResultStream resultStream(windowStream);
std::ofstream results("output.txt", std::ios::binary);

while (boost::optional<Result> result = resultStream.next()) {
    results << *result << "\n";
}

스트림은 항상 적용 가능하지는 않지만 (데이터에 무작위로 액세스해야 할 때 작동하지는 않지만), 스트림이 매우 적습니다. 매우 적은 양의 메모리에서 작동하면 CPU 캐시에 모두 유지됩니다.

또 다른 참고 사항 : 문제가 “엄청나게 평행 한”것처럼 보입니다. 큰 파일을 청크로 분할 할 수 있습니다 (5의 창으로 처리하려면 각 경계에 4 개의 공통 요소가 있어야 함을 명심하십시오) 그런 다음 청크를 병렬로 처리하십시오.

CPU가 병목 현상 (I / O가 아님) 인 경우 파일을 대략 같은 양으로 분할 한 후 코어 당 하나의 프로세스를 시작하여 속도를 높일 수 있습니다.

답변