java 대용량 파일 다운로드

나는 지금, 그리고 훨씬 짧은 게시물의 시리즈로 특이한 길이의 단일 게시물에서 성장, 첫 번째는 여기에서 찾을 수 있습니다: https://techblog.livongo.com/using-scala-to-read-really-really-large-files-part-0-introduction/ 그리고 지금 내 시도는 마르셀의에서 영감을: 나는 모든 정기적 인 할당을 제거있어 (불규칙한 사람은 여전히 여기에 – 그들은 불행하게도 피하기 위해 거의 불가능하다), 나는 큰 데이터 처리 (https://github.com/sirkon/ldetool) 특별히 개발 한 내 도구를 사용 원시 고루틴 대신 근로자의 https://github.com/sirkon/ldetool. 아파치 IO 공용, IOUtils.lineIterator()는 큰 파일을 읽을 때 당신을위한 좋은 대안입니다. RDBMS 종류의 관계가있는 2 개 또는 3 개의 1GB 파일을 읽을 필요가있는 경우 이 경우 접근 방식을 어떻게 제안합니까? 다음은 내 파일에 Instant.now() 및 Duration.between()를 구현하는 예입니다. 이것은 총 파일의 줄 수를 얻는 데 걸리는 시간을 타이밍하는 것입니다. 나는 도전을 좋아하고 파일을 조작하는 연습을 원했기 때문에 그것을 알아낼 수 있는지 확인하기로 결정했습니다. 이제 Java에서 정말 큰 파일을 읽으려고 생각해 온 몇 가지 다른 솔루션에 대해 이야기 해 봅시다. 일부 메서드는 핵심 Java 프레임워크로 바로 구워지며, 일부는 여전히 실행하기 위해 함께 가져오고 번들로 묶어야 하는 독립적인 라이브러리입니다. 그러나 자바에서 파일을 읽는 세 가지 다른 방법을 생각해 냈고, 어떤 방법이 더 효율적인지 확인하기 위해 성능을 테스트했습니다. 내 원래 기사에서 말했듯이 Node.js를 사용하여 정말 큰 파일을 읽을 때 보험 기술 회사의 다른 개발자에게 코딩 문제가 발생했습니다. IntelliJ를 IDE로 사용하는 경우 올바른 주 클래스로 지정된 각 주 파일과 함께 로컬로 실행 구성을 사용할 수도 있으며 세 가지 프로그램도 실행해야 합니다.

이에 대한 자세한 내용은 내 README.md 참조하십시오. 실수를 한, 내 시도에 대한 실제 링크는 https://github.com/sirkon/mineislarger 도전은 충분히 간단했다 : 연방 선거위원회에서 텍스트의이 큰 zip 파일을 다운로드, 제공 .txt 파일에서 해당 데이터를 읽고, 다음 정보를 제공 : 자바의 java.net.URL 클래스는 인터넷에서 데이터에 액세스하고 조작할 수있는 여러 가지 방법을 제공하는 내장 라이브러리입니다.