0207|09|
2007|09|10|12|
2008|01|02|03|
2009|01|05|08|10|11|12|
2010|01|02|03|04|09|11|12|
2011|01|02|03|04|05|06|07|08|09|10|11|12|
2012|01|02|03|04|05|06|07|08|10|11|12|
2013|01|02|03|04|05|06|07|08|09|10|11|12|
2014|01|02|03|04|05|06|07|08|09|10|11|12|
2015|01|02|03|04|05|06|07|08|09|10|11|12|
2016|01|02|03|04|05|06|07|08|09|10|11|12|
2017|01|02|03|04|05|06|07|08|09|10|11|12|
2018|01|02|03|04|05|06|07|08|09|10|11|12|
2019|01|02|03|04|05|06|07|08|09|10|11|12|
2020|01|02|03|04|05|06|07|08|09|10|11|12|
2021|01|02|03|04|

2014-06-07 ―― エクセルが存在してもいない時代に、こういう処理やったことあるなぁ [長年日記]

ビックデータから一部のデータを抽出為だけに、エクセルを立ち上げて、四苦八苦していたのですが、

When I was struggling for extraction of part of "big data" by Excel,

ある時、あれ?と気がつきました。

I noticed an old memory of mine.

―― エクセルが存在してもいない時代に、こういう処理やったことあるなぁ

I did same this process before no Excel had existed.

どういう時代か?

What kind of age is that?

それは、2MB(桁に注意)のメモリが十数万円万円しており、20MB(桁に注意)のHDDが30万円した時代です。

It was an age that 2MB memory was more than ten thousands yen, and 20GB HDD was thirty thousands yen.

そんな時代でも、確かに、データ加工をやっていたのです。

I certainly could process data against that poor environment.

-----

Windows対応のUNIXコマンドをインストールして、cutコマンドを使ってみました。

This time, I used "cut" command after installing UNIX based tool.

1400万行も「屁」でもありませんでした。

There was no problem against more than 14,000,000 line data.

_ なにも、データ加工するのに、全部のデータをロードする必要がある訳がありません。

It is not necessary to load whole "big data" in order to process the data.

一行読んで、一行書き出せばいいのです。

To read one line and to write the line.

ギガバイトのメモリが、必ずしも必要という訳ではないのです(加工に限ればですが)。

I don't have to need some GB unit memory, even if I want to process data.

-----

そんな訳で、UNIX OSやツールを作った人たちって、やっぱり偉大だなぁ、と20年ぶりに思ったりしています。

So, the first time in 20 years, I think again that persons who made UNIX OS and tools were really great.