大數據

如何自定義開發算法組件

一、目的

使用【阿里雲-機器學習PAI-pai studio】,用python開發自定義算法組件,並且上傳內網,發佈部署到PAI平臺。但是我現在準備好數據源(已經數據清洗,拆分後),執行到我自定義開發的組件(python工程),就卡住了,也不報錯,初步判斷是無法接收上面組件節點傳來的參數,請問該如何處理?

二、環境

①、開發語言:python

②、開發框架:TensorFlow(最好不要用,導入TensorFlow庫後,項目非常大)

③、平臺:阿里雲,機器學習PAI,DataWorks

④、目錄結構

image

三、問題

1、組件開發

現在純python的代碼開發完畢了。將我的python項目,打包成tar.gz包,然後上傳內網的機器學習PAI平臺。具體的【上傳-發佈-訂閱-拖動組件到實驗桌布-配置-運行】這套流程已經熟悉。

2、創建實驗

2.1、實驗步驟

包括:【數據源表】→【SQL腳本-3】→【拆分-3】→【am.pre...006-1(我自己開發的算法組件)】→【預測-3】

2.2、實驗流程截圖

我創建了1個實驗,3個分支,左邊2個流程是我用官方給的組件做的流程對照組。右邊第3個流程是我自己開發的流程,用來完成個性化算法。

image

2.3、執行【實驗】

實驗進行到【am.pre...006-1】(我自己開發的算法組件)就卡住了。這裡初步推斷是我自己開發的組件(python項目)中,沒有使用機器學習PAI平臺,規範的入參接口代碼,接下來開始尋找,組件之間如何交互(傳參)。

image

三、解決問題

3.1、蒐集資料

①、資料1
【開發算法包】https://help.aliyun.com/document_detail/126887.html

目前,我照著這個帖子進行

②、資料②

【開發示例程序-Github地址】https://github.com/aliyun/algo-market-example

這裡面的demo中,是最基本的代碼,只有導包tensorflow和打印語句。

image

進入【TensorFlow_example】目錄後:

image

點擊查看train.py文件內容,這裡告訴了我們如何引入tensorflow組件,沒有設計組件之間如何交互的問題。

image

3.2、工單詢問阿里雲-機器學習PAI平臺工程師

3.3、與同事交流

Leave a Reply

Your email address will not be published. Required fields are marked *