diff options
| -rw-r--r-- | modules/nifi/core.py | 15 | ||||
| -rw-r--r-- | modules/nifi/nifi_utils.py | 24 | ||||
| -rw-r--r-- | modules/telegraf/core.py | 14 | ||||
| -rw-r--r-- | modules/telegraf/telegraf_utils.py | 21 |
4 files changed, 74 insertions, 0 deletions
diff --git a/modules/nifi/core.py b/modules/nifi/core.py index 6eddbad..5c15837 100644 --- a/modules/nifi/core.py +++ b/modules/nifi/core.py @@ -19,6 +19,18 @@ def introduction(): def modify_all_processors(data_values, schedulingPeriod, new_pipeline_name, api_url, api_username, api_password): + """ + data_values: valitud andmeväljad, mida konveier filtreerib + scedulingPeriod: kui tihti konveier jookseb + new_pipeline_name: uue konveieri nimi + api_url: andmete tõmbamise API url + api_username: Olemasolu korral API kasutaja nimi + api_parool: Olemasolu korral API kasutaja parool + + Teeb mallis kõik vajalikud muudatused andmekonveieri valmimiseks + """ + + ############### Choosing and modfyfing Template ############## ### Check if splitJson template needed @@ -91,6 +103,9 @@ def modify_all_processors(data_values, schedulingPeriod, new_pipeline_name, api_ def build_pipeline(): + """ + Ehitab andmekonveieri kokku ning paigaldab soovi korral ka platvormile + """ if config.INTERACTIVE_MODE: data_values, api_url, api_username, api_password= common.get_data_values() diff --git a/modules/nifi/nifi_utils.py b/modules/nifi/nifi_utils.py index 6028003..0dbd029 100644 --- a/modules/nifi/nifi_utils.py +++ b/modules/nifi/nifi_utils.py @@ -8,6 +8,15 @@ import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) def update_template(file_path, dot_path, new_key, new_value): + """ + Parameeterid: + file_path: malli asukoht + dot_path: väärtuse asuhot, mida soovitakse muuta mallis + new_key: võti mida soovitatakse soovitud asukohas muuta + new_value: väärtus, mis soovitud võtmele antakse + + Uuendab etteantud väärtuste põhjal mallis võtme väärtuse. + """ # Step 2: Load the copied JSON with open(file_path, "r") as f: @@ -35,6 +44,14 @@ def update_template(file_path, dot_path, new_key, new_value): #print("✅ Changes saved.") def set_database_credentials(file_path,dot_path): + """ + Parameeterid: + file_path: malli asukoht + dot_path: väärtuse asuhot, mida soovitakse muuta mallis + + Uuendab andmebaasi autentimisväärtused + """ + ## Update URL db_full_url=config.DB_URL+"/write?db="+config.DB_NAME update_template(file_path, dot_path, "HTTP URL", db_full_url) @@ -53,6 +70,9 @@ def set_database_credentials(file_path,dot_path): # -H "Content-Type: application/x-www-form-urlencoded" -d 'username=lab08nifiuser&password=tartunifi2023') def get_access_token(): + """ + Tagastab Nifi platvormi autentimiseks vajaliku andmekonveieri. + """ token_resp = requests.post( f"{config.NIFI_HOST}/nifi-api/access/token", headers={"Content-Type": "application/x-www-form-urlencoded"}, @@ -70,6 +90,10 @@ def get_access_token(): def upload_nifi_pipeline(token, pipeline_path, processorGroup_name, username=config.NIFI_USER, password=config.NIFI_PASS, nifi_url=config.NIFI_HOST, position_x=0, position_y=0, client_id = "unique-client-id-123"): + """ + Paigaldab andmekonveieri nifi platvormile + """ + with open(pipeline_path, "r") as json_file: files = { diff --git a/modules/telegraf/core.py b/modules/telegraf/core.py index 0c9f9c7..b340742 100644 --- a/modules/telegraf/core.py +++ b/modules/telegraf/core.py @@ -27,6 +27,17 @@ def introduction(): def modify_template(new_pipeline_path, api_url, schedulingPeriod, data_values, measurement_name, api_username, api_password, template_name): + """ + data_values: valitud andmeväljad, mida konveier filtreerib + scedulingPeriod: kui tihti konveier jookseb + new_pipeline_name: uue konveieri nimi + api_url: andmete tõmbamise API url + api_username: Olemasolu korral API kasutaja nimi + api_parool: Olemasolu korral API kasutaja parool + + Teeb mallis kõik vajalikud muudatused andmekonveieri valmimiseks + """ + ## Pipeline interval telegraf_utils.modify_agent(new_pipeline_path,"interval", schedulingPeriod) @@ -80,6 +91,9 @@ def modify_template(new_pipeline_path, api_url, schedulingPeriod, data_values, m def build_pipeline(): + """ + Ehitab andmekonveieri kokku + """ if config.INTERACTIVE_MODE: data_values, api_url, api_username, api_password= common.get_data_values() diff --git a/modules/telegraf/telegraf_utils.py b/modules/telegraf/telegraf_utils.py index 2e72fbf..00bc232 100644 --- a/modules/telegraf/telegraf_utils.py +++ b/modules/telegraf/telegraf_utils.py @@ -1,6 +1,13 @@ import toml def modify_input(new_pipeline_path, key, value): + """ + new_pipeline_path: Uue konveieri faili asukoht + key: plugginas muudetav võti + value: muudetava võtme väärtus + + Muudab konfiguratsiooni faili 'inputs.http' plugginas etteantud väärtuse + """ data = toml.load(new_pipeline_path) pluggin = data["inputs"]["http"][0] @@ -18,6 +25,13 @@ def modify_input(new_pipeline_path, key, value): ##modify_input("templates/basic_ETL.toml", "test_pipers.toml, "urls", ["stillTesting"]) def modify_agent(new_pipeline_path, key, value): + """ + new_pipeline_path: Uue konveieri faili asukoht + key: plugginas muudetav võti + value: muudetava võtme väärtus + + Muudab konfiguratsiooni faili 'agent' plugginas etteantud väärtuse + """ data = toml.load(new_pipeline_path) pluggin = data["agent"] @@ -33,6 +47,13 @@ def modify_agent(new_pipeline_path, key, value): def modify_output(new_pipeline_path, key, value): + """ + new_pipeline_path: Uue konveieri faili asukoht + key: plugginas muudetav võti + value: muudetava võtme väärtus + + Muudab konfiguratsiooni faili 'outputs.influxdb' plugginas etteantud väärtuse + """ data = toml.load(new_pipeline_path) pluggin = data["outputs"]["influxdb"][0] |