跳到主要內容

Node.js http.request 接收大檔案方法

感謝Benson大的實戰經驗,解救了小弟一晚的睡眠時間!!
下面是Node.js在使用http.request抓遠端資料
針對資料量比較大的回傳時候的處理方式
主要是http.request在截取資料時候會分段處理
一般,如果照官方網站提供的直接在req.on('data')區段把chunk值回傳的話
則在大檔案的傳輸會被劫斷
而大檔案的時候,req.on('data')實際上會跑多次(跑到結果收完為止)
因此另外設置data參數接續接收每個區段的回傳值
然後在req.on('end')區段再把整個data回傳... 大功告成!

function doRequest(pathcallback) {
  console.log('\n---------------http.request start-----------------');
  console.log('path: ' path);
  var options {
    host : 'xxx.xxx.xxx.xxx',
    port : '80',
    path : path,
    method : 'GET'
  };
  var dopost_req http.request(options, function(res) {
    var statusCode res.statusCode;
    var hearders JSON.stringify(res.headers);
    console.log('>>>Status : ' statusCode);
    console.log('>>>Hearder : ' hearders);
    res.setEncoding('utf-8');
    var data '';
    res.on('data'function(chunk) {
      console.log('>>>chunk : ' chunk);
      data += chunk;
    });
    res.on('end',function(){      
      callback(statusCode,hearders,data);
    })
  });
  dopost_req.on('error'function(e) {
    console.log('>>>>problem with request: ' e.message);
  });
  dopost_req.write('data\n');
  dopost_req.write('data\n');
  dopost_req.end();
}

由衷的感謝Benson大的傳授∼又多學會一招!

這個網誌中的熱門文章

Oracle LISTAGG

同事介紹的一個Oracle的好用查詢:LISTAGG
SELECT A.GROUP_ID,A.KEY, LISTAGG(A.VALUE,'; ')WITHINGROUP(ORDERBYA.VALUE)as GG  fromSYS_PROPERTIESaGROUP byA.GROUP_ID,A.KEY
LISTAGG可以將group後的結果會總顯示於一個欄位 上述SQL原本A.VALUE會是一個row一個row的排列 使用LISTAGG之後,可以將A.VALUE顯示在同一個row中 並且可以指定間隔符號(在此設定為';') 針對某一些報表查詢非常有用唷 :D

使用GCP Cloud Builder建置CI/CD Flow

服務的建置通常是持續性的作業,而部署則一般是專案初期建置一次,未來可以沿用該部署設定... 這樣的流程走向自動化,在Container的環境又更是重要... 本篇介紹一下,在Google雲端,我們可以搭配Source Repository與Build Trigger等服務來完成服務的自動建置與部屬,讓封裝Container與部署到Container Engine的動作可以一氣呵成...
首先幾單瞭解一下一個Container Engine服務的建置與部屬過程...
使先,建立Container Engine Cluster,透過GCP Winzard可以很快速地開立您的GKE Cluster…

假設您的cluster是叫做demo-cluster,則可以透過下面的指令來跟GKE建立連線
$ gcloud container clusters get-credentials demo-cluster --zone asia-east1-a
這串指令不用記ㄛ~可以在Cluster的頁面找到他...

點選複製,即可貼到您的Terminal執行...

跟GKE建立鏈結後,接下來可以部署您的城市,這邊我們以我的一個範例程式Demoweb (https://github.com/peihsinsu/demoweb) 為例,

這個專案中,包含幾個重要結構:
app/ : 放置您的程式,在Dockerfile中會將該資料匣複製到Docker Image中 k8s/ : 放置k8s的deployment與service描述檔 Dockerfile : 封裝docker的描述檔,會以node.js的image為基礎來建置執行環境 cloudbuild.yaml : Google Cloud Build Trigger的步驟描述檔

Flashback Query

感謝我的好友提供的: 在Oracle好用的指令...
Flashback Query: 讓異動過的資料表回到歷史時間點 Step 1. è
show parameter undo_retention  PS: 這個參數顯示系統上設定歷史保留時間(ex: 900 = 900秒) Step 2. è CREATETABLE XXXXX_0815 ASSELECT *  FROM XXXXXASOFTIMESTAMPTO_TIMESTAMP('2011-08-15 12:00:00','YYYY-MM-DD HH24:MI:SS');
PS: 透過as of timestamp方式取出該時間點的表格資料